Pytanie 16.1 Na początku w urnie są trzy białe kule. Co minutę losujemy z urny jedną kulę i jeżeli jest czerwona, to wrzucamy ją z powrotem, a jeżeli jest biała, to z takim samym prawdopodobieństwem wrzucamy tę kulę do urny albo zamiast niej wrzucamy kulę czerwoną. Niech \(C_n\) oznacza liczbę czerwonych kul w urnie po upływie \(n\) minut. Wskaż rozkład prawdopodobieństwa zmiennej losowej \(C_3\).
Wskazówka. Można wyliczyć bezpośrednio sosując twierdzenie o prawdopodobieństwie całkowitym.
\(P(C_3 =0) = \frac {9}{72}\), \(P(C_3 =1) = \frac {37}{72}\), \(P(C_3 =2) = \frac {24}{72}\), \(P(C_3 =3) = \frac {2}{72}\).
Warto było rozważyć łańcuch Markowa na \(M = \{0,1,2,3\}\) z parametrami:
\[ \p = \left [\begin {array}{c} 1 \\ 0 \\ 0 \\ 0 \end {array} \right ], \ \ \‚\P = \left [\begin {array}{cccc} 1/2 & 1/2 & 0 & 0\\ 0 & 2/3 & 1/3 & 0 \\ 0 & 0 & 5/6 & 1/6 \\ 0 & 0 & 0 & 1 \end {array} \right ]. \]
i wyznaczyć \(\P ^3\).
Pytanie 16.2 Kontynuując Przykład 16.2.
(1) Oblicz prawdopodobieństwo tego, że w trzecim dniu umowy: sprząta Kaja, sprząta Leon.
(2) Używając komputera oblicz prawdopodobieństwo tego, że Leon sprząta: w dziesiątym dniu umowy, w setnym dniu umowy.
Wskazówka. Ad (1). \(\frac {23}{72}\), \(\frac {43}{72}\).
Ad (2). Rozkład łańcucha w chwili \(t\) można otrzymać za pomocą \(t\)-tej potęgi macierzy przejścia. Odpowiedzi to: \(\frac {12024881}{20155392} \approx 0.5966086395 \) oraz \(\approx 0. 4 6000000000\).
Pytanie 16.3 Uzupełnij lukę w dowodzie Twierdzenia 16.6.
Wskazówka. \(\sum _i\p (i) = \sum _iP(\eta =i) = P(\bigcup _i\{\eta = i\}) = P(\eta \in M) = P(\Omega ) = 1.\)
\(\sum _j\P (i,j) = \sum _jP(T(i,\xi _n) = j) = P(\bigcup _j\{T(i,\xi _n) = j\}) = P(T(i,\xi _n) \in M) = P(\Omega ) = 1\).
Pytanie 16.4 Niech ciąg \((X_0,X_1,X_2,X_3, ... )\) będzie łańcuchem Markowa, Wykaż, że podciąg \((X_1,X_3,X_5, ... )\) oraz podciąg \((X_2,X_4,X_6, ... )\) są łańcuchami Markowa o odpowiednich parametrach.
Wskazówka. Niech \(\p \) oraz \(\P \) będą danymi parametrami naszego łańcucha. Wtedy z Twierdzenia 16.10 wynika, że:
parametrami łańcucha \((X_1,X_3,X_5, ... )\) są \(\P ^T\p \) oraz \(\P ^2\),
parametrami łańcucha \((X_2,X_4,X_6, ... )\) są \((\P ^2)^T\p \) oraz \(\P ^2\).
Pytanie 16.5 Niech \(\{X_t\}\) będzie ciągiem wektorów losowych określonych przez Algorytm PRS. Zakładając, że \(A\) jest zbiorem skończonym wykaż, że ciąg ten jest łańcuchem Markowa: wskaż macierz przejścia.
Wskazówka. Oznaczenia ze strony (página for ?? 12.18). Określamy \(X_0= Y_0\), \(X_t = T(X_{t-1},Y_t)\), \(t =1,2,3,...\), gdzie \(Y_0,Y_1,Y_2,...\) i.i.d. o rozkładzie \(U(A)\),
\[ T(x,y) = \left \{\begin {array}{l} x, \mbox { gdy } f(x) \le f(y)\\ y, \mbox { gdy } f(x) > f(y) \end {array} \right . \]
\[ \P (x,y) = P(Y_t \in A: T(x,Y_t) = y) = \left \{\begin {array}{cl} \frac {\sharp \{z\in A: f(z) \ge f(x)\}}{\sharp A}, & \mbox { gdy } y = x \\[2mm] \frac {1}{\sharp A}, & \mbox { gdy } y \neq x, \ f(x) > f(y) \\[2mm] 0 , & \mbox { gdy } y \neq x, \ f(x) \le f(y) \end {array} \right . . \]
Pytanie 16.6 Wskaż taki ciąg zmiennych losowych \(X_t\), \(t = 0,1,2,3, ...\) o wartościach w zbiorze co najwyżej przeliczanym \(M\), że:
(1) \(\{X_t\}\) jest martyngałem, \(\{X_t\}\) jest łańcuchem Markowa.
(2) \(\{X_t\}\) jest martyngałem, \(\{X_t\}\) nie jest łańcuchem Markowa.
(3) \(\{X_t\}\) nie jest martyngałem, \(\{X_t\}\) łańcuchem Markowa.
(4) \(\{X_t\}\) nie jest martyngałem, \(\{X_t\}\) jest nie łańcuchem Markowa.
Wskazówka. Ad (1). Standardowy spacer losowy.
Ad (2). \(X_0 = 0\), \(X_{t+1} = X_t+Z_{t+1}\) dla \(t = 0,1,2,...\), gdzie \(Z_1,Z_2,Z_3,...\) – niezależne zmienne losowe przyjmujące wartości całkowite o wspólnej nadziei matematycznej \(m =0\). \(X_t\) tworzą martyngał.
\[ E(X_{t+1}|\s (X_1,...,X_t)) = E(X_{t}|\s (X_1,...,X_t))+E(Z_{t+1}|\s (X_1,...,X_t)) = X_t+E(Z_{t+1}) = X_t. \]
Gdy rozkłady \(Z_i\) się zmieniają, to \(X_t\) nie tworzą łańcucha Markowa (jednorodnego):
\[ P(X_{t+1} =j|X_t=i) = P(Z_{t+1} =j -i) = P_{Z_{t+1}}(j-i) \]
zależy od \(t\).
Ad (3). Spacer losowy po prostej, gdy \(p \neq q\).
Ad (4). Podobnie jak (2), tylko z różnymi nadziejami.