Pytanie 17.1 Definicje stanu powracającego i stanu okresowego można bez żadnych zmian powtórzyć w przypadku dowolnego łańcucha Markowa. Podać przykład takiego łańcucha, który ma jednocześnie: (1) stan powracający i stan niepowracający, (2) stan okresowy i stan nieokresowy.
Wskazówka. Ad (1). Łańcuch o macierzy przejścia
\[ \P = \left [\begin {array}{cccc}1/2 & 1/2 & 0 & 0\\ 2/3 & 0 & 1/3 & 0\\ 0 & 0 & 5/6 & 1/6 \\ 0 & 0 & 0 & 1 \end {array} \right ]. \]
Ad (2). Łańcuch o macierzy przejścia
\[ \P = \left [\begin {array}{cccc} 1/2 & 1/2 & 0 & 0\\ 1/3 & 2/3 & 0 & 0 \\ 0 & 0 & 0 & 1 \\ 0 & 0 & 1 & 0 \end {array} \right ]. \]
Pytanie 17.2 Podaj przykład wskazujący, że Uwaga 17.8 jest fałszywa w przypadku, gdy przestrzeń stanów nie jest skończona.
Wskazówka. Spacer losowy po prostej bez barier, gdy \(r >0\) jest nieokresowy, ale w Uwadze 17.8 nie zachodzi punkt 3.
Pytanie 17.3 (2 pkt.) Udowodnij, że jeżeli nieredukowalny łańcuch Markowa jest niepowracający, to dla każdych stanów \(i, j\) \(\lim _{n \rightarrow \infty }\P ^n(i,j) = 0\).
Wskazówka. Ponieważ łańcuch jest niepowracający, to dla każdego \(j\) szereg \(\sum _{n = 1}^\infty \P ^n(j,j)\) jest zbieżny, więc \(\lim _{n \rightarrow \infty }\P ^n(j,j) = 0\). Ustalmy teraz dwa stany \(i, j\). Ponieważ łańcuch jest nieredukowalny, to istnieje takie \(k\ge 1\), że \(\P ^k(j,i) > 0\). Dla dowolnego \(n\) mamy nierówność:
\[ \P ^{n+k}(j,j) \ge \P ^k(j,i)\P ^n(i,j), \mbox { wiÄŹc } \lim _{n \rightarrow \infty }\P ^n(i,j) = 0. \]
Pytanie 17.4 Rozważmy spacer losowy po prostej z barierami w punktach \(A = -1\), \(B=1\), \(p = q = 1/4\), \(sa = 9/10\), \(sb = 1/10\). Znajdź rozkład stacjonarny.
Wskazówka. . \(\pi := \left [\begin {array}{c} 45/68 \\ 18/68 \\ 5/68 \end {array} \right ].\)
Pytanie 17.5 Rozważmy urnowy model Bernoulliego, Przykład 10.3. Niech \(k = 3\), \(b_0 = 3\). Wyznacz oczekiwaną liczbę czerwonych kul w drugiej urnie po pierwszym, drugim, dziesiątym i trzydziestym losowaniu.
Wskazówka. \(E(X_1) = 2\), \(E(X_2) := \frac 53\), \(E(X_{10})= \frac {29525}{19683}\), \(E(X_{30}) = \frac {102945566047325}{68630377364883} \cong 1.5000000000000072854\).
Pytanie 17.6 (2 pkt.) Wyznacz macierz przejścia spaceru losowego po grafie.
(1) Czy łańcuch jest okresowy?
(2) Naszkicuj graf skierowany tego łańcucha.
(3) Wskaż rozkład stacjonarny tego łańcucha.
Wskazówka.
\[ \P = \left [\begin {array}{ccccc} 0 & 0 & 1/3 & 1/3 & 1/3\\ 0 & 0 & 1 & 0 & 0\\ 1/4 & 1/4 & 0 & 1/4 & 1/4\\ 1/2 & 0 & 1/2 & 0 & 0\\ 1/2 & 0 & 1/2 & 0 & 0 \end {array} \right ]. \]
Ad (1). Nie jest okresowy.
Ad (2)
Ad (3).
\[ \pi = \left [\begin {array}{c} \frac {3}{12} \\[1mm] \frac {1}{12} \\[1mm] \frac {4}{12} \\[1mm] \frac {2}{12} \\[1mm] \frac {2}{12} \end {array} \right ]. \]
Powyższy wynik można było uzyskać dwoma sposobami.