Przykład 18.14 stanowi motywacją do następującej definicji.
Definicja – 19.1 (Rozkład normalny \(N_n(\mu ,\Sigma )\)) Dane są: \(\mu \in \rn \) oraz \(\Sigma \in M(n)\), \(\Sigma = \Sigma ^T\), \(\Sigma \ge 0\).
Rozkład \(Q\) nazywamy normalnym i oznaczamy \(N_n(\mu ,\Sigma )\), jeżeli
\[ M_Q(t) = e^{\mu ^Tt + \frac {1}{2}t^T\Sigma t}. \]
Poprzedni przykład pokazuje, że dla dowolnych \(\mu \) oraz symetrycznej \(\Sigma \ge 0\) istnieje taki rozkład. Wystarczy wziąć \(A = \Sigma ^{\frac {1}{2}}\). Wtedy rozkład \(P_X = N_n(\mu ,\Sigma )\).
Uwaga – 19.2 Gdy \(n= 1\), \(\Sigma = \s ^2 > 0\). Wtedy \(N_1(\mu ,\s ^2) = N(\mu ,\sigma )\).
\(N_1(\mu ,0) = \delta _\mu \) .
Podana poprzednio definicja rozkładu normalnego może wydawać się trochę nienaturalna, niemniej ma szereg korzyści. Jedną z nich jest następujące:
Twierdzenie – 19.3 (1) Jeżeli wektor losowy \(X\) ma rozkład normalny \(N_n(\mu , \Sigma )\), to
\[E(X) = \mu , \ \ \ \ cov(X) = \Sigma . \]
(2) Jeżeli ponadto \(W = AX + b\), \(A \in M(m,n)\), \(b \in \r ^m\),
to \(W\) ma rozkład
\[N_m(A\mu +b, A\Sigma A^T). \]
Dowód. Ad (1). Jakikolwiek wektor losowy o rozkładzie \(N_n(\mu , \Sigma )\) ma taki sam rozkład jak wektor \(X\) otrzymany w przykładzie 18.14, a więc ich parametry są takie same.
Ad (2). \(\di M_W(t) = e^{b^Tt}M_X(A^Tt) = e^{b^Tt}e^{\mu ^TA^Tt + \frac {1}{2}(A^Tt)^T\Sigma A^Tt} = \) \(\di e^{(A\mu +b)^Tt +\frac {1}{2}t^TA\Sigma A^Tt }\). \(\di M_W(t)\) jest więc funkcją generującą momenty dla rozkładu \(N_m(A\mu +b, A\Sigma A^T)\). \(\Box \)
Twierdzenie – 19.4 Niech wektor losowy \(X\) ma rozkład normalny \(N_n(\mu , \Sigma )\),
\[ X = \left [\begin {array}{l} X_1\\ X_2 \end {array} \right ], \ \ \ \mu = \left [\begin {array}{l} \mu _1\\ \mu _2 \end {array} \right ], \ \ \ \‚\Sigma = \left [\begin {array}{ll} \Sigma _{11} & \Sigma _{12}\\ \Sigma _{21} & \Sigma _{22} \end {array} \right ]. \]
Wtedy:
(1) \(X_i\) ma rozkład normalny \(N_{n_i}(\mu _i,\Sigma _{ii})\), \(i = 1, 2\)
(2) \(X_1\), \(X_2\) są niezależne \(\rwn \Sigma _{12} = \Sigma _{21}^T = 0\).
Dowód. Ad (1) \(X_1 = [I_{n_1}, 0]X\), \(X_2 = [0,I_{n_2}, 0]X\), gdzie \(I_{n_i} \in M(n_i)\) jest macierzą identycznościową. Stosujemy poprzednie twierdzenie.
Ad (2) \(M_X(t) = M_X \left [\begin {array}{l} t_1\\ t_2 \end {array} \right ] = \)
\[\exp \left ( \left [\begin {array}{l} \mu _1\\ \mu _2 \end {array} \right ]^T \left [\begin {array}{l} t_1\\ t_2 \end {array} \right ] + \frac {1}{2}[t_1^T,t_2^T] \left [\begin {array}{ll} \Sigma _{11} & \Sigma _{12}\\ \Sigma _{21} & \Sigma _{22} \end {array} \right ]\left [\begin {array}{l} t_1\\ t_2 \end {array} \right ]\right ) = \]
\[ \exp \left (\mu _1^Tt_1+ \mu _2^Tt_2 + \frac {1}{2}[t_1^T,t_2^T] \left [\begin {array}{l} \Sigma _{11}t_1 + \Sigma _{12}t_2\\ \Sigma _{21}t_1 + \Sigma _{22}t_2 \end {array} \right ] \right ) = \]
\[\exp \left (\mu _1^Tt_1+ \mu _2^Tt_2 + \frac {1}{2}(t_1^T\Sigma _{11}t_1 +t_1^T\Sigma _{12}t_2+ t_2^T\Sigma _{21}t_1 +t_2^T\Sigma _{22}t_2 )\right ). \]
Z drugiej strony:
\[ M_{X_1}(t_1) = \exp \left (\mu _1^Tt_1 + \frac {1}{2}t_1^T\Sigma _{11} t_1\right ), \ \‚M_{X_2}(t_2) = \exp \left (\mu _2^Tt_2 + \frac {1}{2}t_2^T\Sigma _{22} t_2\right ). \]
Widać, że warunkiem równoważnym warunkowi \(\di M_X(t) = M_{X_1}(t_1)M_{X_2}(t_2)\) jest:
\[ \forall \ t_1, t_2 \ \ t_1^T\Sigma _{12}t_2+ t_2^T\Sigma _{21}t_1 = 0. \]
Po lewej stronie występują dwie liczby, które są sobie równe, gdyż \(\Sigma _{12}^T = \Sigma _{21}\).
A więc ostatni warunek brzmi:
\[ \forall \ t_1, t_2 \ \ t_2^T\Sigma _{21}t_1 = 0, \]
co z kolei jest równoważne warunkowi \(\Sigma _{21} = 0\). \(\Box \)
Twierdzenie – 19.5 (o istnieniu gęstości) Niech wektor losowy \(X\) ma rozkład \(N_n(\mu , \Sigma )\). Zachodzi równoważność:
\(X\) ma rozkład ciągły \(\rwn \Sigma \) jest nieosobliwa.
Wtedy gęstość \(f_X\) wyraża się wzorem:
\[ f_X(x) = \frac {1}{(2\pi )^\frac {n}{2}\sqrt {\det \Sigma }}e^{-\frac {1}{2}(x-\mu )^T\Sigma ^{-1}(x - \mu )}. \]
W przeciwnym przypadku istnieje taka właściwa podprzestrzeń afiniczna \(M \subset \rn \), że \(P(X \in M) = 1\).
Dowód. Twierdzenie udowodnimy dla szczególnie dobranego wektora \(X\) mającego rozkład \(N_n(\mu , \Sigma )\), co nie zmniejsza ogólności. Niech wektor losowy \(Z\) ma współrzędne \(Z_1,\dots ,Z_n\), które są i.i.d. o rozkładzie normalnym standardowym każda. \(Z\) ma więc gęstość, która jest iloczynem gęstości zmiennych losowych \(Z_i\).
\[ f_Z(z) = \frac {1}{\sqrt {2 \pi }} e^{-\frac {1}{2}z_1^2} \cdot \ \dots \ \cdot \frac {1}{\sqrt {2 \pi }} e^{-\frac {1}{2}z_n^2} = \]
\[ \frac {1}{(\sqrt {2 \pi })^n} e^{-\frac {1}{2}\sum _{i=1}^nz_i^2} = \frac {1}{(\sqrt {2 \pi })^n} e^{-\frac {1}{2}z^Tz}. \]
Niech \(X = \Sigma ^{\frac {1}{2}}Z+ \mu \). W przypadku, gdy \(\Sigma \) jest nieosobliwa, odwzorowanie \(\f (z) = \Sigma ^{\frac {1}{2}}z+ \mu \) jest dyfeomorfizmem, a więc na podstawie twierdzenia 5.33:
\[ f_X(x) = \frac {1}{\det \Sigma ^{\frac {1}{2}} } f_Z\left ((\Sigma ^{\frac {1}{2}})^{-1}(x-\mu )\right ) = \frac {1}{(2\pi )^\frac {n}{2}\sqrt {\det \Sigma }}e^{-\frac {1}{2}(x-\mu )^T\Sigma ^{-1}(x- \mu )}. \]
Gdy \(\Sigma \) jest osobliwa, także \(\Sigma ^{\frac {1}{2}}\) jest osobliwa, a więc jej rząd \(k\) jest mniejszy niż \(n\). Więc \(\dim M = k < n\), gdzie \(M = \{\Sigma ^{\frac {1}{2}} z + \mu : z \in \rn \}\) jest przestrzenią afiniczną zawierającą wszystkie wartości \(X\). \(\Box \)