Do badania rozkładów zmiennych losowych przyjmujących wartości całkowite nieujemne zamiast funkcji charakterystycznych można używać tak zwanych funkcji tworzących.
Niech \(a_i\), \(i = 0,1,2,3, \dots \) będzie ciągiem liczb rzeczywistych nieujemnych. Funkcją tworzącą tego ciągu jest funkcja zmiennej zespolonej \(z\):
\(\seteqnumber{0}{11.}{0}\)\begin{equation} \alpha (z) := \sum _{i = 0}^\infty a_i z^i. \label {eq:tw1} \end{equation}
Zauważmy, że jeżeli ciąg \(\{a_i\}\) jest ograniczony, to szereg powyższy jest zbieżny dla \(|z|<1\), a więc funkcja \(\alpha \) jest analityczna w otwartym kole \(K(0,1)\). Jeżeli dodatkowo \(\sum _{i = 0}^\infty a_i = 1\), to szereg (11.1) jest zbieżny także dla \(|z|= 1\).
Niech \(X\) będzie zmienną losową określoną na odpowiedniej przestrzeni probabilistycznej. Załóżmy, że \(X\) przyjmuje jedynie wartožci całkowite nieujemne, czyli \(P\left (\bigcup _{i=0}^\infty \{X = i\}\right ) = 1\). Niech \(p_i = P(X = i)\), \(i = 0,1,2, \dots \). Określamy funkcję tworzącą zmiennej losowej \(X\) jako funkcję tworzącą ciągu \(\{p_i\}\). Jest to więc funkcja:
\(\seteqnumber{0}{11.}{1}\)\begin{equation} \pi _X(z) := \pi (z) = \sum _{i = 0}^\infty p_i z^i. \label {eq:tw2} \end{equation}
Zauważmy, że funkcja tworząca \(\pi _X\) oraz funkcja charakterystyczna \(h_X\) są ze sobą ściśle związane. Mianowicie, stosując wzór na funkcję charakterystyczną rozkładu dyskretnego, strona (página for item 1), mamy dla rzeczywistych \(u\):
\[ h_X(u) = \sum _{k= 0}^\infty e^{iuk}p_k = \sum _{k= 0}^\infty (e^{iu})^kp_k = \pi _X(e^{iu}). \]
Ponieważ funkcja \(\pi \), jako funkcja analityczna w kole \(K(0,1)\), jest wyznaczona jednoznacznie przez swoje wartości na okręgu \(|z|=1\), powyższy związek pozwala wykazać wiele własności funkcji tworzących na podstawie odpowiednich własności funkcji charakterystycznych. Własności te mogą być otrzymane także bezpośrednio – bez odwoływania się do funkcji charakterystycznych. Na przykład, często wykorzystuje się następującą własność będącą konsekwencją (ćwiczenie) twierdzenia 11.13:
Zachodzi także twierdzenie o jednoznaczności rozkładu, które jest szczególnym przypadkiem twierdzenia 11.14 (ćwiczenie).
Podobnie jak funkcje charakterystyczne, funkcje tworzące mogą służyć do wyznaczania momentów.
Dowód. Można zróżniczkować szereg dla \(|z| < 1\). Ponieważ istnieje \(E(X)\), to szereg określający \(\pi _x'\) jest zbieżny dla \(z = 1\) (ćwiczenie).
Podamy teraz trzy proste zastosowania funkcji tworzących:
Spacery losowe po prostej
Wyobraźmy sobie ruch cząstki po osi liczbowej odbywający się według następujących zasad. (1) W chwili \(n=0\) cząstka znajduje się w ustalonym punkcie, powiedzmy w punkcie \(A =0\). (2) Jeżeli w chwili \(n\) cząstka znajduje się w punkcie \(x\), to w chwili \(n+1\) znajduje się w punkcie \(x+1\) z prawdopodobieństwem \(p\) i w punkcie \(x-1\) z prawdopodobieństwem \(q\). Zakładamy, że \(p+q=1\). Interesuje nas czy cząstka musi wrócić do wyjściowego stanu \(A\).
Najpierw sprecyzujemy nasze zadanie. Niech \(X_i\), \(i = 1,2,3, \dots \) będą niezależnymi zmiennymi losowymi o rozkładzie:
\[ P(X_i = -1) = q,\ \ \ \ \ P(X_i= 1) = p. \]
Niech \(S_n = X_1 + \dots + X_n\) i niech
\(\seteqnumber{0}{11.}{2}\)\begin{equation} T = min \{n > 0: S_n = 0 \}. \label {eq:tw8} \end{equation}
Pytanie postawione poprzednio można teraz sformułować następująco: Czy \(P(T< \infty ) = 1\)? Prawdopodobieństwo \(P(T< \infty )\) nazywamy prawdopodobieństwem powrotu.
Rozważmy dwa ciągi liczb \(\{a_n\}\) oraz \(\{f_n\}\) określające odpowiednio prawdopodobieństwa pobytu cząstki w punkcie \(A\) w chwili \(n\) oraz prawdopodobieństwo pierwszego powrotu do \(A\) w chwili \(n\). Definiujemy więc:
\[ a_n = P(S_n=0),\ \ \ \ \ \ \ f_n = P(T = n),\ \ \ \ \ \ \mbox { dla } n = 1,2,3, \dots \]
oraz dookreślamy \(a_0 = 0\), \(f_0 = 0\).
Ponieważ zdarzenia \(\{T = n\}\) są parami rozłączne, więc prawdopodobieństwo powrotu:
\[ P(T < \infty ) = \sum _{n=0}^\infty f_n = \varphi (1), \]
gdzie \(\varphi \) jest funkcją tworzącą ciągu \(\{f_n\}\). Oczywiście \(\varphi (1) \le 1\).
Znajdziemy związek między funkcją \(\varphi \) oraz \(\alpha \), funkcją tworzącą ciągu \(a_n\). Ze wzoru na prawdopodobieństwo całkowite oraz z niezależności zmiennych \(X_k\) mamy dla \(n =1,2,3, \dots \) (ćwiczenie):
\(a_1 =f_1\),
\(a_2 =f_1 a_1 + f_2 \),
\(a_3 =f_1 a_2 + f_2 a_1 + f_3\),
\(a_4 =f_1 a_3 + f_2 a_2 + f_3a_1 + f_4\),
\(\dots \ \ \ \ \ \dots \ \ \ \ \ \dots \ \ \ \ \ \dots \ \ \ \ \‚\dots \ \ \ \ \‚\dots \)
Pomnóżmy te równości odpowiednio przez \(z\), \(z^2\), \(z^3\), \(z^4\), \(\dots \) , \(|z| < 1\), i zsumujmy stronami. Otrzymujemy:
\[ \alpha (z) = f_1z\ (1 + a_1z + a_2 z^2 + \dots ) + f_2z^2\ (1 + a_1z + a_2 z^2 + \dots ) + \]
\[ f_3z^3\ (1 + a_1z + a_2 z^2 + \dots ) + \dots . \]
Mamy więc dla \(|z|<1\)
\[ \alpha (z) = \varphi (z) (1 + \alpha (z)). \]
Niech \(z\) zmierza do \(1\) po osi rzeczywistej w sposób rosnący. Wtedy wartości \(\alpha (z)\), \(\varphi (z)\) rosną i zmierzają odpowiednio do granic \(\alpha (1)\) i \(\varphi (1)\), czyli:
\[ \alpha (1) = \varphi (1) (1 + \alpha (1)), \]
przy czym wiemy, że \(\varphi (1) \le 1\). Widzimy teraz, że \(\varphi (1) = 1\), wtedy i tylko wtedy, gdy \(\alpha (1) = \infty \). Co więcej, gdy \(\alpha (1) < \infty \), to
\(\seteqnumber{0}{11.}{3}\)\begin{equation} \varphi (1) = \frac {\alpha (1)}{1+\alpha (1)} \label {eq:tw3} \end{equation}
Wykazaliśmy więc następujące:
Twierdzenie – 11.25
1. Jeżeli \(\sum _{n=1}^\infty a_n < \infty \), to prawdopodobieństwo powrotu jest mniejsze od jeden i wynosi:
\(\seteqnumber{0}{11.}{4}\)\begin{equation} P(T< \infty ) = \frac {\sum _{n=1}^\infty a_n }{1+\sum _{n=1}^\infty a_n }. \label {eq:tw4} \end{equation}
2. Jeżeli \(\sum _{n=1}^\infty a_n = \infty \), to prawdopodobieństwo powrotu jest równe jeden.
Wyznaczymy teraz liczby \(a_n\). Są to prawdopodobieństwa tego, że cząstka startująca z \(A\) znajdzie się po \(n\) krokach znowu w punkcie \(A\). Cząstka musi więc wykonać tyle samo kroków w prawo co w lewo. Mamy więc:
\[ a_{n} = \left \{ \begin {array}{cl} 0, & \mbox { gdy } n = 2k - 1\\ \left (^{2k}_{\, k} \right ) p^kq^k, & \mbox { gdy } n = 2k \end {array} \right ., \mbox { dla } k = 1,2,3, \dots \]
Do zbadania zbieżności szeregu \(\sum _{n=1}^\infty a_n\) wykorzystamy słynny wzór:
Wzór Stirlinga
\(\seteqnumber{0}{11.}{5}\)\begin{equation} \lim _{n \to \infty } \frac {n!}{n^n e^{-n} \sqrt {2\pi n} } = 1, \end{equation}
który często używany jest w formie:
\[\di n! \cong n^n e^{-n} \sqrt {2\pi n}, \mbox { dla duÅijych } n.\]
Wzór ten oznacza (ćwiczenie), że:
\(\seteqnumber{0}{11.}{6}\)\begin{equation} a_{2k} \cong \frac {(4pq)^k}{\sqrt {\pi k}}, \ \ \ k \longrightarrow \infty . \label {eq:tw5} \end{equation}
Ponieważ \(pq \le \frac {1}{4}\), a równość zachodzi dokładnie wtedy, gdy \(p = q = \frac {1}{2}\), widzimy, że:
\[ \sum _{n=1}^\infty a_n = \infty \ \ \ \Longleftrightarrow \ \ \ p = q =\frac {1}{2}. \]
Tak więc przy symetrycznym spacerze losowym po prostej cząstka prędzej czy później powróci do stanu wyjściowego. Natomiast, gdy spacer nie jest symetryczny cząstka z dodatnim prawdopodobieństwem nigdy nie powróci do stanu wyjściowego.
Można też bezpośrednio wyznaczyć sumę szeregu \(\sum _{n=1}^\infty a_n\) oraz \(P(T < \infty )\), patrz Ćwiczenie 11.4. Mianowicie:
\[ P(T < \infty ) = 1 - |2p-1| = 1 - |p-q|. \]
Jako, że dyskutowany przez nas spacer losowy jest szczególnym przypadkiem łańcucha Markowa, wrócimy do tego problemu w rozdziale 16. Wykorzystamy wtedy przybliżenie zadane wzorem (11.7).
Suma losowej liczby składników
Niech \(X_1, X_2, X_3, \dots \) oraz \(N\) będą zmiennymi losowymi przyjmującymi wartości całkowite nieujemne. Interesuje nas suma pierwszych \(N\) zmiennych \(X_i\), czyli zmienna losowa:
\[ S := X_1 + \dots + X_N. \]
Wykażemy następujące:
Twierdzenie – 11.26 Jeżeli zmienne losowe \(X_1, X_2, X_3, \dots \) są niezależne i mają taki sam rozkład o funkcji tworzącej \(\pi \), a zmienna losowa \(N\) jest niezależna od \(X_1, X_2, X_3, \dots \) i ma funkcję tworzącą \(\nu \), to zmienna losowa \(S\) ma funkcję tworzącą \(\sigma = \nu \circ \pi \).
Dowód. Niech \(\pi (z) = \sum _{i=0}^\infty p_iz^i\), \(\nu (z) = \sum _{i=0}^\infty n_iz^i\), \(\sigma (z) = \sum _{i=0}^\infty s_iz^i\). Oznaczmy przez \(\sigma ^{(n)}\) funkcję tworzącą sumy \(S_n = X_1 + X_2 + \dots + X_n\), \(n = 0,1,2,3 \dots \). Niech \(\sigma ^{(n)}(z) = \sum _{i=0}^\infty s^{(n)}_iz^i\). Po pierwsze, z niezależności \(N\) od \(X_i\) mamy dla \(j = 0,1,2,3, \dots \):
\[ s_k = P(S = k) = \sum _{i=0}^\infty P(N=i) P(S_i = k) = \sum _{i=0}^\infty \nu _i s^{(i)}_k. \]
Po drugie, z twierdzenia 11.23 wiemy, że \(\sigma ^{(i)}(z) = \pi (z)^i\) i stąd:
\[ (\nu \circ \pi )(z) = \nu (\pi (z)) = \sum _{i=0}^\infty n_i\pi (z)^i = \sum _{i=0}^\infty n_i \sigma ^{(i)}(z) = \]
\[ \sum _{i=0}^\infty n_i \sum _{k=0}^\infty s^{(i)}_k z^k = \sum _{k=0}^\infty \left ( \sum _{i=0}^\infty \nu _is^{(i)}_k \right ) z^k = \sum _{k=0}^\infty s_k z^k, \]
co oznacza tezę.
Przykład – 11.27
Owad (powiedzmy mucha) składa dużo jajeczek z których mogą wykluwać się nowe owady. Zakładając, że liczba jajeczek ma rozkład Poissona o parametrze \(\lambda \), oraz, że owady wykluwają się z jajeczek niezależnie od siebie z tym samym4 prawdopodobieństwem \(p\), wyznaczyć rozkład oraz oczekiwaną wartość liczby potomków jednego owada.
Niech \(N\) oznacza liczbę jajeczek złożonych przez muchę w ciągu całego życia i niech \(X_i= 1\) lub \(X_i = 0\) zależnie od tego czy z \(i\)-tego jajeczka rozwinie się dorosły owad czy nie. Wtedy \(S = X_1 + \dots + X_N\) oznacza liczbę dorosłych potomków muchy. Załóżmy, że \(N, X_1, X_2, X_3, \dots \) są niezależne. Wiemy, że \(X_i\) mają taki sam rozkład \(B(1,p)\) oraz, że \(N\) ma rozkład Poissona o parametrze \(\lambda \). Jak łatwo sprawdzić odpowiednie funkcje tworzące są równe: \(\pi (z) = 1- p + pz\) oraz \(\nu (z) = e^{- \lambda + \lambda z}\). W takim razie \(\sigma (z) = (\nu \circ \pi )(z) = e^{- \lambda p+ \lambda p z}\). Oznacza to, że liczba dorosłych potomków \(S\) ma rozkład Poissona o parametrze \(\lambda p\).
Przykład ten przeanalizujemy jeszcze raz w oparciu o teorię warunkowych wartości oczekiwanych, przykład 14.5.
Proces gałązkowy
Przykład – 11.28 Osoba, powiedzmy \(O_0\), która jest nosicielem wirusa może przekazywać go \(k\) innym osobom z prawdopodobieństwami \(p_k\), \(k = 0,1,2, ...\), a te osoby mogą przekazywać go dalej według tego samego schematu. Niech \(X_n\) oznacza liczbę osób, które otrzymały wirusa od \(O_0\) dokładnie po \(n\) krokach. Niech \(\pi \) oznacza funkcję tworzącą ciągu \((p_k)\).
Wyznaczymy kolejno funkcję tworzącą \(\pi _{X_n}\) (zakładając niezależność), \(E(X_n)\) oraz \(P(X_n=0)\).
Niech \(N\) będzie zmienną losową o rozkładzie \(P(N=k) = p_k\).
\(O_0\) zarazi \(X_1\) osób, przy czym \(P_{X_1} = P_N\). Tworzą one pierwszą generację.
Każda osoba \(i\) z pierwszej generacji zarazi \(X_{1,i}\) osób, przy czym \(P_{X_{1,i}} = P_N\).
\(X_2\) – liczba osób w drugiej generacji jest więc sumą: \(X_2 = X_{1,1} + ... + X_{1,X_1}\).
Podobnie \(X_n = X_{n-1,1} + ... + X_{n-1,X_{n-1}}\)
W początkowym stadium epidemii można założyć, że występująca w sumach zmienne losowe są niezależne. Przy takim założeniu można skorzystać z Twierdzenia 11.26, z którego wynika, że \(\pi _{X_n}\) jest \(n\)-tym złożeniem funkcji \(\pi \), czyli \(\pi _{X_1} = \pi \), \(\pi _{X_2} = \pi ^2 = \pi \circ \pi \), \(\pi _{X_3} = \pi ^3\) i t.d.
Z określenia funkcji tworzącej całkowitoliczbowej zmiennej losowej \(X\) wynika, że \(P(X=0) = \pi _X(0)\). Natomiast Twierdzenie 11.24 pozwala wyliczyć wartość oczekiwaną: \(E(X) = \pi _X'(1)\). Tak więc w naszym przypadku:
\[P(X_n=0) = \pi ^n(0), \ \ \ \‚E(X_n) = (\pi ^n)'(1). \]
Zakładając, że \(\di p_k = e^{-\lambda }\frac {\lambda ^k}{k!}\), czyli rozkład Poissona, można jak poprzednio wyznaczyć funkcję tworzącą \(\pi \) i obliczyć (np. Maple) powyższe wielkości dla \(n = 10\), gdy: (a) \(\lambda = 0.9\), (b) \(\lambda = 1.1\). Wskazówka: \(n\)-krotne złożenie funkcji \(f\) ze sobą uzyskuje się w Maple za pomocą polecenia \(f@@n\).
Otrzymujemy: Ad (a) \(E(X_{10}) = 0.3486784401 \), \(P(X_{10} = 0) = 0.9150828404 \).
Ad (b) \(E(X_{10}) = 2.593742460 \), \(P(X_{10} = 0) = 0.7507181832\).