Najczęściej mówiąc o estymatorze mamy na myśli, że powinien on w jakimś określonym sensie przybliżać pewną wielkość, na przykład nadzieję matematyczną lub inny parametr rozkładu.
Definicja – 12.7 (Estymator silnie zgodny) Estymator \(g(X_1, X_2, \dots , X_n)\) parametru \(a\) jest zgodny silnie \(\rwn g(X_1, X_2, \dots , X_n) \stackrel {1}{\longrightarrow } a\), gdy \(n \to \infty \).
Definicja – 12.8 (Estymator słabo zgodny) Estymator \(g(X_1, X_2, \dots , X_n)\) parametru \(a\) jest zgodny słabo \(\rwn g(X_1, X_2, \dots , X_n) \stackrel {s}{\longrightarrow } a\), gdy \(n \to \infty \).
Powyższe definicje są formalnie błędne, niemniej często używane. Powinno się oczywiście mówić o ciągu o wyrazach \(g_n(X_1, X_2, \dots , X_n)\).
Definicja – 12.9 (Estymator nieobciążony) Estymator \(g(X_1, X_2, \dots , X_n)\) parametru \(a\) jest nieobciążony \(\rwn E(g(X_1, X_2, \dots , X_n)) = a\).
Przykład – 12.10 (Estymator wartości oczekiwanej) Dana jest zmienna losowa \(X\) oraz próbka prosta \(X_1, X_2, \dots , X_n\) z rozkładu \(P_X\). Niech \(m = E(X)\). Definiujemy \(\di \bar {X}_n = \frac {X_1+ X_2, \dots + X_n}{n}\). Jak wiemy, jest to nieobciążony estymator parametru \(m\). Natomiast Mocne Prawo Wielkich Liczb dla i.i.d. gwarantuje, że jest to estymator silnie zgodny (a więc także sła bo zgodny).
Przykład – 12.11 Niech \(Y_1 = (Y_{11},Y_{12}), \dots , Y_n = (Y_{n1},Y_{n2}) \) będą niezależnymi wektorami losowymi o rozkładzie jednostajnym na kwadracie \([-1,1]^2\). Określamy zmienne losowe:
\[ X_i = \left \{\begin {array}{ll} 1, \mbox { gdy } & Y_{i1}^2 + Y_{i2}^2 \le 1\\ 0, \mbox { gdy } & Y_{i1}^2 + Y_{i2}^2 > 1 \end {array} \right . \]
Rozważamy estymator \(4 \bar {X}_n\). Zauważmy, że jest to estymator nieobciążony i silnie zgodny liczby \(\pi \).
Rzeczywiście: Ponieważ \(Y_i\) mają rozkład jednostajny, to \(P(X_i = 1)= \frac {\pi }{4}\). Mamy więc też \(m = E(X_i) = \frac {\pi }{4}\). Co więcej zmienne losowe \(X_i\) są niezależne jako funkcje wektorów niezależnych. Z poprzedniego przykładu wynika, że \(\bar {X}_n\) jest estymatorem nieobciążonym i silnie zgodnym liczby \(m\). A więc \(4 \bar {X}_n\) jest estymatorem nieobciążonym i silnie zgodnym liczby \(4m = \pi \).
Przykład – 12.12 (Estymatory wariancji) Dana jest zmienna losowa \(X\) oraz próbka prosta \(X_1, X_2, \dots , X_n\) z rozkładu \(P_X\). Niech \(\sigma ^2 = D^2(X)\). Definiujemy:
\[ \hat {\sigma }^2_n = \frac {1}{n}\sum _{i=1}^n(X_i - \bar {X}_n)^2. \]
Można sprawdzić (ćwiczenie), że \(E(\hat {\sigma }^2_n) = \frac {n-1}{n}\sigma ^2\). Tak więc \(\hat {\sigma }^2_n\) nie jest estymatorem nieobciążonym (jest asymptotycznie nieobciążony) \(\sigma ^2\). Jest jednak zgodny silnie. Zauważmy, że:
\(\seteqnumber{0}{12.}{0}\)\begin{equation} \hat {\sigma }^2_n = \frac {1}{n}\sum _{i=1}^n(X_i - \bar {X}_n)^2 = \frac {1}{n}\sum _{i=1}^n(X_i^2 - 2 X_i \bar {X}_n + \bar {X}_n^2) = \frac {1}{n}\sum _{i=1}^n X_i^2 - \bar {X}_n^2. \label {eq:odchs} \end{equation}
Stosujemy Mocne Prawo Wielkich Liczb do ciągu \(X_i\) oraz do ciągu \(X_i^2\). \(\bar {X}_n \stackrel {1}{\longrightarrow } E(X), \ \ \ \frac {1}{n}\sum _{i=1}^n X_i^2 \stackrel {1}{\longrightarrow } E(X^2). \) Stąd: \(\di \hat {\sigma }^2_n \stackrel {1}{\longrightarrow } E(X^2) - E(X)^2 = D^2(X). \). Zauważmy teraz, że:
\[\di \frac {n}{n-1} \hat {\sigma }^2_n = \frac {1}{n-1}\sum _{i=1}^n(X_i - \bar {X}_n)^2\]
jest nieobciążonym i zgodnym silnie estymatorem \(\sigma ^2\).
Przykład – 12.13 (kontynuacja Przykładu 12.10) Wiemy już, że \(\bar {X}_m\) jest „dobrym’ estymatorem wartości oczekiwanej \(m\), ale ważnym pytaniem pozostaje: jak bardzo otrzymane wartości tego estymatora różnią się od prawdziwej wartości \(m\)? Oczywiście nie potrafimy odpowiedzieć na to pytanie z całkowitą pewnością! Możemy jednak podać odpowiedź obarczoną niewielkim błędem, co więcej, możemy z góry określić wielkość tego błędu. Ustalamy małą liczbę \(\alpha >0\) (0.05; 0.01) i szukamy takiego przedziału, zwanego przedziałem ufności, \((a,b)\), że:
\[P(m \in (a,b)) = 1 - \alpha . \]
Oczywiście liczby \(a, b\) muszą mieć charakter losowy zależny od wartości próbki. Co więcej, sie mogą one być wyznaczone jednoznacznie. Najczęściej szuka się ich w trzech następujących postaciach:
(1) \(a = \bar {X}_n - \ve \), \(b = \bar {X}_n + \ve \).
(2) \(a = -\infty \), \(b = \bar {X}_n + \ve \).
(3) \(a = \bar {X}_n - \ve \), \(b = \infty \).
Zadanie rozwiązujemy w oparciu o Centralne Twierdzenie Graniczne. Musimy jednak wtedy założyć, że zmienna losowa \(X\), a więc wszystkie zmienne losowe \(X_1, \dots , X_n\), mają skończoną wariancję \(\sigma ^2\). Pamiętając, że \(n\) jest duże możemy przyjąć, że \(\bar {X}_n\) ma rozkład normalny \(N(m,\frac {\sigma }{\sqrt {n}})\).
Rozwiążmy problem (1). Poprzednia nierówność przyjmuje postać:
\[ P(m \in (\bar {X}_n - \ve , \bar {X}_n + \ve )) = 1 - \alpha . \]
Otrzymujemy kolejno:
\[ P(\bar {X}_n \in (m - \ve , m + \ve )) = 1 - \alpha . \]
\[ \Phi _{m,\frac {\sigma }{\sqrt {n}}}(m + \ve ) - \Phi _{m,\frac {\sigma }{\sqrt {n}}}(m - \ve ) = 1 - \alpha . \]
\[ 2 \Phi \left (\frac {\ve \sqrt {n}}{\sigma } - 1 \right ) = 1 - \alpha , \ \ \ \ \Phi \left (\frac {\ve \sqrt {n}}{\sigma } \right ) = 1 - \frac {\alpha }{2}, \]
\[ \frac {\ve \sqrt {n}}{\sigma } = \Phi ^{-1}\left (1 - \frac {\alpha }{2}\right ), \]
\[ \ve = \frac {\sigma }{\sqrt {n}} \Phi ^{-1}\left (1 - \frac {\alpha }{2}\right ). \]
Problem (2) oraz (3) rozwiązuje się podobnie (ćwiczenie), otrzymując w obydwóch przypadkach wzór:
\[ \ve = \frac {\sigma }{\sqrt {n}} \Phi ^{-1}\left (1 - \alpha \right ). \]
W zagadnieniach praktycznych często jednak nie znamy \(\sigma \). W takiej sytuacji możemy użyć jego estymatora \(\di \sqrt {\frac {n}{n-1} \hat {\sigma }^2_n}\), lub \(\di \sqrt {\hat {\sigma }^2_n} = \hat {\sigma }_n\). W tym drugim przypadku wzory na \(\ve \) przyjmują postać:
\[ \ve = \frac {\hat {\sigma }_n}{\sqrt {n}} \Phi ^{-1}\left (1 - \frac {\alpha }{2}\right ). \]
oraz
\[ \ve = \frac {\hat {\sigma }_n}{\sqrt {n}} \Phi ^{-1}\left (1 - \alpha \right ). \]
Przykład – 12.14 (kontynuacja Przykładu 10.21) Przeprowadzono następne \(n = 10 000\) symulacji \(m\) – średniego czasu oczekiwania Leona na dotarcie do okienka – otrzymując tym razem: realizację \(\hat {X}_n\), \(\hat {x} = 7.5402\) oraz \(\hat {\sigma } = 1.0532\). Na poziomie ufności \(\alpha = 0.95\) przedział ufności dla \(m\) wynosi \([7.5196, \ 7.5609]\). Na poziomie ufności \(0.9\) przedział ten jest nieco krótszy i wynosi \([7.5229, \ 7.5575]\).
Przykład – 12.15 (kontynuacja Przykładu 10.22) Chcemy obecnie wyznaczyć przybliżoną wartość prawdopodobieństwa zdarzenia
\[ A = \{\max _{1 \le k \le n}|S_k - E(S_k)| \ge \ve \}, \]
przy czym \(S_k = X_1 + ... + X_k\), gdzie \(X_1, ..., X_n\) są niezależnymi zmiennymi losowymi o rozkładzie Poissona \(P_5\). Bierzemy \(\ve = 20\), \(n = 30\).
Pamiętamy, że \(p= P(A) = m = E(I_A)\). Generujemy więc realizację \(y_1, ..., y_N\) próbki prostej, powiedzmy \(Y_1, ..., Y_N\) z rozkładu \(B(1,p)\), \(N = 10000\). Mianowicie dla każdego \(i = 1, ..., 10000\) generujemy ciąg liczb \(x_1, ..., x_{30}\) z rozkładu Poissona \(P_5\), wyliczamy \(s_k = y_1 + ... + y_k\) oraz \(E(S_k) = 5k\) i bierzemy
\[ y_i = \left \{\begin {array}{cc}1, & \mbox { gdy } \max _{1 \le k \le 30}|s_k - 5k| \ge 20 \\ 0, & \mbox { gdy } \max _{1 \le k \le 30}|s_k - 5k| < 20. \end {array} \right . \]
Wyliczamy \(\bar {y} = \frac 1N\sum _{i=1}^Ny_i\) oraz \(\hat {\sigma }^2 = \frac {1}{N}\sum _{i=1}^N y_i^2 - \bar {y}_N^2\). Ponieważ \(y_i^2 = y_i\), więc \(\hat {\sigma }^2 = \bar {y} - \bar {y}^2\). Za pomocą Maple otrzymujemy \(\bar {y} = 0.1518\) i dalej \(p = 0.1518\), \(\hat {\sigma } = 0.3588\) oraz dwustronny przedział ufności dla \(p\) na poziomie ufności \(0.95\): \([0.1448,\ 0.1588]\).