Zamiast badać zbieżność miar, nieraz łatwiej jest badać zbieżność ich funkcji charakterystycznych zdefiniowanych poniżej. Funkcje charakterystyczne wykorzystywane są także do innych celów.3
Niech \(P\) będzie rozkładem na \(\r \).
Definicja – 11.12 Funkcję \(h :\r \longrightarrow \C \) określoną wzorem:
\[ h(u) = \int _\r e^{iux}\,dP(x) = \int _\r \cos ux\,dP(x) +i\int _\r \sin ux\,dP(x) \]
nazywamy funkcją charakterystyczną rozkładu \(P\). Oznaczamy, \(h_P\) zamiast \(h\).
Jeżeli rozkład ma dystrybuantę \(F\), to piszemy też \(h_F\) zamiast \(h_P\). Podobnie gdy \(P\) jest rozkładem pewnej zmiennej losowej \(X\), to mówimy o funkcji charakterystycznej zmiennej losowej, mając na myśli funkcję charakterystyczną jej rozkładu. Piszemy wtedy \(h_X\).
W tym ostatnim przypadku mamy:
\[ h_X(u) = E(e^{iuX}) = E(\cos uX) + iE(\sin uX). \]
Niech \(h\) będzie funkcją charakterystyczną pewnego rozkładu. Wtedy:
1. \(\;\;h(0) = 1.\)
2. \(\;\;|h(u)| \le 1\), dla każdego \(u \in {\bf R},\)
3. \(\;\;h\) jest funkcją ciągłą.
Dla dowolnej zmiennej losowej \(X\) oraz liczb rzeczywistych \(a,b\) mamy
4. \(\;\;h_{aX + b}(u) = e^{iub}\,h_X(au)\).
Dowód. wynika natychmiast z odpowiednich własności całek (ćwiczenie). \(\Box \)
Dowód. \(X_1,X_2,\,\dots ,X_n\) są niezależne, \(e^{iuX_1},\dots ,e^{iuX_n}\) (traktowane jako wektory losowe o wartościach w \(\r ^2\)), a więc: \(\di h_{X_1+\dots +X_n }(u) = E\left (e^{iu(X_1 + \dots + X_n)} \right ) = E\left (e^{iuX_1} \cdot \dots \cdot e^{iuX_n} \right ) = E\left (e^{iuX_1}\right ) \cdot \dots \cdot E\left (e^{iuX_n} \right ) = h_{X_1}(u) \cdot \dots \cdot h_{X_n}(u)\). \(\Box \)
Dowód. Jeżeli mamy równość funkcji charakterystycznych \(h_{P_1} = h_{P_2}\), to są sobie równe ich części rzeczywiste i urojone, a więc dla każdego \(u \in \r \) mamy:
\[ \int _{\r }\cos ux\,dP_1(x) = \int _{\r }\cos ux\,dP_2(x), \]
\[ \int _{\r }\sin ux\,dP_1(x) = \int _{\r }\sin ux\,dP_2(x). \]
Z liniowości całek możemy rozszerzyć tę równość na dowolne wielomiany trygonometryczne a następnie na funkcje ciągłe i okresowe \({\r } \longrightarrow {\r }\), gdyż z analizy wiadomo, że każdą funkcję ciągłą i okresową można aproksymować jednostajnie na \(\r \) wielomianami trygonometrycznymi.
Niech teraz \(g\) będzie dowolną funkcją ciągłą o suporcie zwartym. Pokażemy, że równość powyższa zachodzi także dla \(g\), czyli że
\[ \int _{\r }g(x)\,dP_1(x) = \int _{\r }g(x)\,dP_2(x). \]
Ustalmy dowolne \(\varepsilon > 0\) i niech \(M = \sup \{|g(x)|: x\in {\r }\}\). Ponieważ zbiory \({\r }\setminus (-T,T)\,\) tworzą ciąg zstępujący (gdy T rośnie) o części wspólnej \(=\emptyset ,\) więc można znaleźć takie \(T\), że \(P_i({\r } \setminus I) \le {\varepsilon \over 2M}\) dla \(i=1,\,2\) oraz \(supp\,g \subset I\), gdzie \(I\) oznacza przedział \((-T,T).\)
Zmodyfikujmy funkcją \(g\) poza przedziałem \(I\) tak, aby otrzymać funkcję \(\tilde {g}\) okresową i ciągłą, określoną na \(\r \) i taką, że \(g|I = \tilde {g}|I\) .
Oczywiście \(|\tilde {g}(x)| \le M,\) dla każdego \(x \in {\r },\) przy czym:
\[ \int _{\r }\tilde {g}(x)\,dP_1(x) = \int _{\r }\tilde {g}(x)\,dP_2(x). \]
Z równości tej kolejno otrzymujemy:
\[ \int _{I}\tilde {g}(x)\,dP_1(x) + \int _{\r \setminus I}\tilde {g}(x)\,dP_1(x) = \int _{I}\tilde {g}(x)\,dP_2(x) \int _{\r \setminus I}\tilde {g}(x)\,dP_2(x). \]
\[ \left |\int _I\tilde {g}(x)\,dP_1(x) - \int _I\tilde {g}(x)\,dP_2(x)\right | = \left |\int _{{\r }\setminus I}\tilde {g}(x)\,dP_1(x) - \int _{{\r }\setminus I}\tilde {g}(x)\,dP_2(x)\right | \le \]
\[ \left |\int _{{\r }\setminus I}\tilde {g}(x)\,dP_1(x)\right | + \left | \int _{{\r }\setminus I}\tilde {g}(x)\,dP_2(x)\right | \le 2\, M{\varepsilon \over 2M } =\varepsilon . \]
Mamy więc:
\[ \left |\int _{\r }g(x)\,dP_1(x) - \int _{\r }g(x)\,dP_2(x)\right | = \left |\int _I\tilde {g}(x)\,dP_1(x) - \int _I\tilde {g}(x)\,dP_2(x)\right | \le \varepsilon . \]
Ponieważ \(\varepsilon > 0\) jest dowolne, więc dla funkcji ciągłych o suporcie zwartym całki reż są sobie równe.
Z Lematu 11.7, \(P_1 = P_2\). \(\Box \)
Istnieje iniekcja określona na zbiorze rozkładów w zbiór funkcji ciągłych i ograniczonych \(\r \to K(0,1) \subset \C \), spełniających warunek \(h(0) = 1\). UWAGA. (1) To nie jest suriekcja na powyższy zbiór. (2) Istnieje jednak pełna charakteryzacja obrazu tego odwzorowania.
Twierdzenie – 11.15 Niech \(X :\Omega \longrightarrow {\r }\) będzie zmienną losową, \(h= h_X\) jej funkcją charakterystyczną.
Jeżeli istnieje moment rzędu \(k\) i jest skończony, to funkcja \(h\) jest k-krotnie różniczkowalna. Wtedy:
\[ h^{(k)}(0) = i^k\,E(X^k). \]
Dowód. Przeprowadzimy dla \(k = 1\); dla pozostałych \(k\) dowód jest już prosty.
Ponieważ
\[ \int _{\r }\left |\frac {d}{du}e^{iux}\right |dP_X(x) = \int _{\r }|ixe^{iux}|dP_X(x) = \int _{\r }|x|dP_X(x) = E(|X|) < \infty , \]
więc – korzystając ze znanego z kursu analizy twierdzenia – istnieje pochodna funkcji określonej przez całkę: \(\frac {d}{du}\,\int _{\r }e^{iux}dP(x) = h'(u)\), i aby ją obliczyć, można różniczkować pod znakiem całki. Tak więc
\[h'(u) = \int _{\r }ix\,e^{iux}dP_X(x),\]
a kładąc \(u = 0\), mamy \(\di h'(0) =i\,\int _{\r }xdP_X(x) = i\, E(X)\). \(\Box \)
Większość używanych rozkładów na już dawno wyznaczone swoje funkcje charakterystyczne. Warto jednak zobaczyć choćby jak to się robi.
\[ h_P(u) = \sum _{k=0}^Ne^{iux_k}p_k. \]
2. Dla rozkładów ciągłych
\[ h_P(u) = \int _\r e^{iux}f(x)\, dx. \]
Przykład, rozkład \(\delta _c\).
\(h_{\delta _c}(u) = e^{iuc} 1 = e^{iuc}\). Przykład, rozkład \(N(0,1)\).
Twierdzenie – 11.16 Funkcja charakterystyczna \(h\) rozkładu normalnego \(N(0,1)\) wyraża się wzorem
\[ h(u) = e^{-\frac {1}{2}u^2}. \]
Dowód. (nieobowiązkowy)
Dopełniając do kwadratu, otrzymujemy
\[ h(u) = \int _\r e^{iux}\frac {1}{\sqrt {2\pi }} e^{-\frac {1}{2}x^2}\,dx = \frac {e^{-\frac {u^2}{2}}} {\sqrt {2\pi }}\int _\r e^{-\frac {1}{2}(x-iu)^2}\,dx \]
Wystarczy udowodnić, że \(I:= \int _\r e^{-\frac {1}{2}(x-iu)^2}\,dx = \sqrt {2\pi }. \)
Wiedząc, że całka z funkcji analitycznej po drodze zamkniętej jest równa zeru, rozważmy funkcję \(f(z)=e^{-\frac {1}{2}z^2}\) oraz prostokąt o wierzchołkach w punktach \(-N - iu,\, N- iu,\,N,\,-N\), gdzie \(N\) oraz \(u\) są ustalonymi liczbami rzeczywistymi.
\[ \int _{-N -iu}^{N-iu}f(z)\,dz + \int _N^{-N}f(z)\,dz + R_N = 0. \]
gdzie \(R_N\) jest sumą dwóch całek po odcinkach pionowych. Niech \(z = x -iu\)
\[ \int _{-N}^Ne^{-\frac {1}{2}(x-iu)^2}\,dx = \int _{-N}^Nf(z)\,dz - R_N = \int _{-N}^Ne^{-\frac {1}{2}x^2}\,dx - R_N. \]
Gdy \(N\longrightarrow \infty \), to \(R_N \longrightarrow 0\), gdyż miara pionowych odcinków jest stała, a funkcja \(f\) na tych odcinkach maleje do \(0\). W takim razie
\[ I = \lim _{N\rightarrow \infty } \int _{-N}^Ne^{-\frac {1}{2}(x-iu)^2}\,dx = \lim _{N\rightarrow \infty }\int _{-N}^Ne^{-\frac {1}{2}x^2}\,dx =\int _{-\infty }^\infty e^{-\frac {1}{2}x^2}\,dx = \sqrt {2\pi }. \]
Przykład – 11.17 (Rozkład \(N(m,\sigma )\)) Jeżeli zmienna losowa \(X\) rozkład \(N(0.1)\), to zmienna losowa \(Y = \sigma X + m\) ma rozkład \(N(m,\sigma )\). W takim razie funkcja charakterystyczna \(h\) tego rozkładu jest równa \(h_Y\).
\(h(u) = h_Y(u) = e^{ium}h_X(\sigma u) = e^{ium}e^{-\frac {1}{2}(\sigma u)^2} = e^{ium -\frac {1}{2}\sigma ^2 u^2}\).
Przykład – 11.18 (Rozkład sumy i.i.d. o rozkładach normalnych.)
Niech \(P_X = N(m_1,\sigma _1)\), \(P_Y = N(m_2, \sigma _2)\). Wtedy: \(\di h_{X+Y}(u) = h_X(u) h_Y(u) = e^{ium_1 -\frac {1}{2}\sigma _1^2 u^2}e^{ium_2 -\frac {1}{2}\sigma _2^2 u^2} = e^{iu(m_1+m_2) -\frac {1}{2}(\sigma _1^2 + \sigma _2^2) u^2}\).
A to jest funkcja charakterystyczna rozkładu \(N(m_1+m_2, \sqrt {\sigma _1^2 + \sigma _2^2}).\) Więc \(P_{X+Y} = N(m_1+m_2, \sqrt {\sigma _1^2 + \sigma _2^2}).\)
Znajomość funkcji charakterystycznej pozwala czasami na oszacowanie prawdopodobieństwa „ogona" rozkładu:
Twierdzenie – 11.19 Niech \(P\) będzie rozkładem. a \(h\) jego funkcją charakterystyczną. Niech \(u > 0\). Wtedy:
\[ P(x \in \r : |x| \ge \frac {2}{u}) \le \frac {1}{u}\int _{-u}^u 1 - h(s)\,ds \in \r . \]
Dowód. \(\di \int _{-u}^u 1 - h(s)\,ds = \int _{-u}^u \int _\r dP(x) - \int _\r e^{isx}dP(x)\,ds = \) \(\di \int _\r \int _{-u}^u 1 - \cos (sx)\,ds\,dP(x) = \int _\r 2u - 2\frac {\sin (ux)}{x} \,dP(x) =
\) \(\di 2u\left (\int _{\{x: |ux| < 2 \}} 1 - \frac {\sin (ux)}{ux} \,dP(x) + \int _{\{x: |ux| \ge 2 \}} 1 - \frac {\sin (ux)}{ux} \,dP(x) \right ) \ge \)
\(\di 2u(0 + \frac {1}{2}P(x: |ux| \ge 2)) = u P(x: |ux| \ge 2)\). \(\Box \)
Jednym z najważniejszych zalet funkcji charakterystycznych jest zgodność zbieżności ciągu rozkładów ze zbieżnością odpowiedniego ciągu funkcji charakterystycznych. Mówi o tym następujące twierdzenie.
Twierdzenie – 11.20 (o ciągłości) Niech \(\{P_n\}\) będzie ciągiem rozkładów, a \(h_n = h_{P_n}\) ciągiem funkcji charakterystycznych.
1. Jeżeli \(P\) jest rozkładem i \(P_n \stackrel {d}{\longrightarrow } P\), to \(\forall \, u \in \r \lim _{n\to \infty }h_n(u) = h_P(u)\).
2. Jeżeli \(h :\r \to \C \) jest funkcją ciągłą w 0 oraz \(\forall \, u \in \r \lim _{n\to \infty }h_n(u) = h(u)\), to istnieje rozkład \(P\) taki, że \(P_n \stackrel {d}{\longrightarrow } P\). Wtedy też \(h = h_P\).
Dowód. Ad 1. Dla każdego \(u\), \(\sin (ux)\) oraz \(\cos (ux)\) są funkcjami ciągłymi i ograniczonymi, więc stosuje się Twierdzenie 11.11 o zbieżności rozkładów.
Ad 2. Udowodnimy, że \(\{P_n\}\) spełnia warunek Prochorowa. Niech \(\ve > 0\). Niech \(0 < \ve ' < \ve \). Istnieje \(u > 0\), takie, że \(|1 - h(s)| \le \frac {\ve '}{2}\), dla \(|s| \le
u\).
Z własności całek: \(\di \frac {1}{2u} \int _{-u}^u |1- h(s)|\,ds \le \frac {\ve '}{2}\).
Z twierdzenia Lebesgue’a \(\di \frac {1}{2u} \int _{-u}^u |1- h_n(s)|\,ds \to \frac {1}{2u} \int _{-u}^u |1- h(s)|\,ds\). Istnieje \(n_0\) takie, że dla \(n \ge n_0\) \(\frac {1}{2u} \int _{-u}^u1- h_n(s)\,ds \le
\frac {\ve }{2}\). Z poprzedniego twierdzenia: \(P_n(x \in \r : |x| \ge \frac {2}{u}) \le \frac {1}{u}\int _{-u}^u 1 - h_n(s)\,ds \le \ve \).
\(\{P_n\}\) spełnia więc warunek Prochorowa. Istniej podciąg \(\{P_{k_n}\}\) oraz rozkład \(P\), taki, że \(P_{p_n} \stackrel {d}{\longrightarrow } P\). Z punktu 1: \(\forall \, u \in \r \lim _{n\to \infty }h_{P_{k_n}}(u) = h_P(u)\). Ale również \(\forall \, u \in \r \lim _{n\to \infty }h_{P_{k_n}}(u) = h(u)\). Więc \(h_P = h\). Gdyby \(P_n\) nie zmierzał do \(P\), to istniałby podciąg \(P_{l_n}\) oraz rozkład \(Q\) różny od \(P\) taki, że \(P_{l_n} \stackrel {d}{\longrightarrow } Q\). Rozumując jak poprzednio widzimy, że \(h_Q = h = h_P\). Z twierdzenia o jednoznaczności \(P = Q\). \(\Box \)