Dana jest przestrzeń probabilistyczna \((\Omega ,\Sigma ,P)\) oraz zdarzenie \(W \in \Sigma ,\) przy czym \(P(W) > 0.\)
Dla dowolnego zdarzenia \(A \in \Sigma \) określamy jego prawdopodobieństwo warunkowe \(P(A|W)\) wzorem:
\[ P(A|W) = \frac {P(A\cap W)}{P(W)}. \]
Funkcja \(P(\cdot |W) \) jest miarą probabilistyczną na \(\Sigma \) posiadającą tę właściwość, że dwa zbiory mające jednakowe przecięcia ze zbiorem \(W\), mają także taką samą miarę (ćwiczenie).
Często znamy prawdopodobieństwo warunkowe \(P(A|W)\) oraz prawdopodobieństwo \(P(W)\) i na tej podstawie obliczamy prawdopodobieństw
\[P(A\cap W) = P(A|W)P(W)\]
oraz inne prawdopodobieństwa.
Twierdzenie – 3.1 (Wzór na prawdopodobieństwo całkowite.) Dana jest przestrzeń probabilistyczna \((\Omega ,\Sigma ,P)\) oraz
zdarzenia \(W_1 ,\dots , W_n \in \Sigma \) spełniające warunki:
\(P(W_i) > 0\) dla każdego \(i = 1,\dots , n\),
\(W_i\cap W_j = \O \), dla wszystkich \(i \neq j\),
\(W_1 \cup \dots \cup W_n = \Omega .\)
Wtedy dla każdego zdarzenia \(A \in \Sigma \) zachodzi wzór:
\[ P(A) = \sum _{i=1}^n P(A|W_i) P(W_i). \]
Dowód. Ponieważ \(\di A = A\cap \Omega = A\cap (\bigcup _{i=1}^n W_i) = \bigcup _{i=1}^n(A\cap W_i), \) mamy \(\di P(A) = \sum _{i=1}^n P(A\cap W_i) = \sum _{i=1}^n P(A|W_i) P(W_i).\) \(\Box \)
Powyższe zdarzenia \(W_1 ,\dots , W_n\) nazywamy warunkami.
Przykład – 3.2 Kaja i Leon umówili się w sprawie sprzątania, a ponieważ Kaja sprząta dokładniej niż Leon, ustalili następujące zasady. Jeżeli w pewnym dniu sprząta Leon, to rzuca kostką i jeżeli nie wyrzuci „6", to sprząta także w następnym dniu, gdy wypadnie „6śprząta Kaja. Jeżeli sprząta Kaja, to w następnym dniu nie sprząta nikt. Jeżeli w jakimś dniu nikt nie sprząta, to o sprzątaniu w następnym dniu decyduje rzut monetą. O sprzątaniu w pierwszym dniu umowy decyduje rzut monetą. Wyznaczyć prawdopodobieństwa sprzątania Kaji i Leona w drugim i trzecim dniu umowy.
Niech \(K_i\), \(L_i\), \(N_i\), \(i = 1,2,3\) oznaczają zdarzenia, że w \(i\)-tym dniu umowy sprząta Kaja, Leon oraz nikt nie sprząta. Uważamy, że są to zdarzenia w pewnej przestrzeni probabilistycznej (Ω, Σ, P ) i chociaż jej formalnie nie konstruujemy (można to oczywiście zrobić), uważamy, że informacje podane w naszym zadaniu mogą być dzięki niej poprawnie zinterpretowane.
Z umowy wynika, że \(P(K_1) = P(L_1) = \frac 12\), \(P(N_1) = 0\). Aby obliczyć \(P(K_2)\) oraz \(P(L_2)\) skorzystamy dwukrotnie z wzoru na prawdopodobieństwo całkowite. Warunkami są tutaj \(K_1\), \(L_1\), Widać, że spełniają one wymagane założenia.
Z umowy wynika też, że: \(P(K_2|K_1) = 0\), \(P(K_2|L_1) = \frac 16\), więc
\(\di P(K_2) = P(K_2|K_1)P(K_1) + P(K_2|L_1)P(L_1) = \frac {1}{12}\). Podobnie:
\(\di P(L_2) = P(L_2|K_1)P(K_1) + P(L_2|L_1)P(L_1) = \frac {5}{12}\).
Widzimy też, że \(\di P(N_2) = P(N_2|K_1)P(K_1) + P(N_2|L_1)P(L_1) = \frac 12\), gdyż \(P(N_2|K_1) = 1\), \(P(N_2|L_1) =0\).
Teraz warunkami są \(K_2\), \(L_2\), \(N_2\). Mamy:
\(P(K_3) = P(K_3|K_2)P(K_2) + P(K_3|L_2)P(L_2) + P(K_3|N_2)P(N_2) = 0+\frac 16\cdot \frac {5}{12}+\frac 12\cdot \frac 12 = \frac {23}{72}\).
\(P(L_3) = P(L_3|K_2)P(K_2) + P(L_3|L_2)P(L_2) + P(L_3|N_2)P(N_2) = 0+\frac 56 \cdot \frac {5}{12} + \frac 12\cdot \frac 12 = \frac {43}{72}\).
Ponieważ \(P(K_3)+P(L_3)+P(N_3) = 1\), to \(P(N_3) = \frac {6}{72}\), co można także sprawdzić stosując jeszcze raz wzór na prawdopodobieństwo całkowite.
Jak wygląda sytuacja w kolejnych dniach zobaczymy, gdy poznamy teorię łańcuchów Markowa, przykład 17.12. Wcześniej warto zobaczyć M.3.1
Przykład – 3.3 Kontynuując przykład poprzedni załóżmy, że wiemy iż w trzecim dniu umowy sprzątał Leon. Jakie jest prawdopodobieństwo tego, że sprzątał:
(a) w drugim dniu umowy?
(b) w pierwszym dniu umowy?
Ad (a) Chcemy obliczyć \(P(L_2|L_3)\).
\(\di P(L_2|L_3) = \frac {P(L_2\cap L_3)}{P(L_3)} = \frac {P(L_3|L_2)P(L_2)}{P(L_3)} = \frac {\frac 56 \cdot \frac {5}{12}}{\frac {43}{72}} = \frac {25}{43}\).
Ad (b) Chcemy obliczyć \(P(L_1|L_3)\). Zauważmy, że ponieważ \(L_1\) jest sumą rozłącznych zbiorów \(L_1\cap K_2\), \(L_1\cap L_2\), \(L_1\cap N_2\), to
\[P(L_1|L_3) = P(L_1\cap K_2|L_3) + P(L_1 \cap L_2|L_3) + P(L_1 \cap N_2|L_3).\]
Teraz wyliczamy kolejno:
\(\di P(L_1\cap K_2|L_3) = \frac {P(L_1\cap K_2 \cap L_3)}{P(L_3)} = \frac {P(L_3| L_1 \cap K_2)P(L_1\cap K_2) }{P(L_3)} = \frac {P(L_3|K_2)P(L_1\cap K_2)}{P(L_3)} = 0\).
\(\di P(L_1 \cap L_2|L_3) = \frac {P(L_1\cap L_2 \cap L_3)}{P(L_3)} = \frac {P(L_3| L_1 \cap L_2)P(L_1\cap L_2) }{P(L_3)} = \frac {P(L_3| L_2)P(L_2|L_1)P(L_1)}{P(L_3)} = \frac {\frac 56 \cdot \frac 56 \cdot \frac
{1}{2}}{\frac {43}{72}} = \frac {25}{43}\)
\(\di P(L_1 \cap N_2|L_3) = \frac {P(L_1\cap N_2 \cap L_3)}{P(L_3)} = \frac {P(L_3| L_1 \cap N_2)P(L_1\cap N_2) }{P(L_3)} = \frac {P(L_3|N_2)P(N_2|L_1)P(L_1)}{P(L_3)} = \frac {\frac 12 \cdot 0\cdot \frac
{1}{2}}{\frac {43}{72}} = 0\).
Tak więc \(\di P(L_1|L_3)= \frac {25}{43}\).
Poprzedni przykład stanowi ilustrację rozumowania wprowadzonego przez Bayesa. Formalizuje to następujące twierdzenie, a jego dowód jest oczywisty.
Twierdzenie – 3.4 (twierdzenie Bayesa) Przy założeniach Twierdzenia o Prawdopodobieństwie Całkowitym zachodzi następująca równość:
\[ P(W_k|A) = \frac {P(A|W_k) P(W_k)}{ \sum _{i=1}^n P(A|W_i) P(W_i)} \]
dla każdego \(k = 1,\dots ,n\).
Terminologia
\(P(W_i)\) – prawdopodobieństwa a priori,
\(P(W_i|A)\) – prawdopodobieństwa a posteriori.