Ковариационная матрица

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Ковариацио́нная ма́трица (или ма́трица ковариа́ций) в теории вероятностей — это матрица, составленная из попарных ковариаций элементов одного или двух случайных векторов.

Ковариационная матрица случайного вектора — квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы — ковариациии между компонентами. Ковариационная матрица случайного вектора является многомерным аналогом дисперсии случайной величины для случайных векторов. Матрица ковариаций двух случайных векторов- многомерный аналог ковариации между двумя случайными величинами.

Определения[править | править вики-текст]

  • Пусть \mathbf{X}:\Omega \to \mathbb{R}^n, \mathbf{Y}:\Omega \to \mathbb{R}^m — два случайных вектора размерности n и m соответственно. Пусть также случайные величины X_i,Y_j,\; i=1,\ldots, n,\; j = 1,\ldots, m имеют конечный второй момент, то есть X_i,Y_j \in L^2. Тогда матрицей ковариации векторов \mathbf{X},\mathbf{Y} называется
\Sigma = \mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathbb{E}\left[(\mathbf{X} - \mathbb{E}\mathbf{X})(\mathbf{Y} - \mathbb{E}\mathbf{Y})^{\top}\right],

то есть

\Sigma = (\sigma_{ij}),

где

\sigma_{ij} = \mathrm{cov}(X_i,Y_j) \equiv \mathbb{E}\left[(X_i - \mathbb{E}X_i) (Y_j - \mathbb{E}Y_j)\right],\; i=1,\ldots, n,\; j = 1,\ldots, m.

Свойства матриц ковариации[править | править вики-текст]

  • Сокращённая формула для вычисления матрицы ковариации:
\mathrm{cov}(\mathbf{X}) = \mathbb{E}\left[\mathbf{X} \mathbf{X}^{\top}\right] - \mathbb{E}[\mathbf{X}] \cdot \mathbb{E}\left[\mathbf{X}^{\top}\right].
\mathrm{cov}(\mathbf{X}) \ge 0.
  • Смена масштаба:
\mathrm{cov}\left(\mathbf{a}^{\top} \mathbf{X}\right) = \mathbf{a}^{\top} \mathrm{cov}(\mathbf{X}) \mathbf{a},\; \forall \mathbf{a} \in \mathbb{R}^n.
  • Если случайные векторы \mathbf{X} и \mathbf{Y} нескоррелированы (\mathrm{cov}(\mathbf{X},\mathbf{Y}) =  \mathbf{0}), то
\mathrm{cov}(\mathbf{X} + \mathbf{Y}) =  \mathrm{cov}(\mathbf{X}) + \mathrm{cov}(\mathbf{Y}).
\mathrm{cov}\left(\mathbf{A} \mathbf{X} + \mathbf{b}\right) = \mathbf{A} \mathrm{cov}(\mathbf{X}) \mathbf{A}^{\top},

где \mathbf{A} — произвольная матрица размера n \times n, а \mathbf{b}\in \mathbb{R}^n.

  • Перестановка аргументов:
\mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathrm{cov}(\mathbf{Y},\mathbf{X})^{\top}
  • Матрица ковариации аддитивна по каждому аргументу:
\mathrm{cov}(\mathbf{X}_1 + \mathbf{X}_2,\mathbf{Y}) = \mathrm{cov}(\mathbf{X}_1,\mathbf{Y}) + \mathrm{cov}(\mathbf{X}_2,\mathbf{Y}),
\mathrm{cov}(\mathbf{X},\mathbf{Y}_1 + \mathbf{Y}_2) = \mathrm{cov}(\mathbf{X},\mathbf{Y}_1) + \mathrm{cov}(\mathbf{X},\mathbf{Y}_2).
  • Если \mathbf{X} и \mathbf{Y} независимы, то
\mathrm{cov}(\mathbf{X},\mathbf{Y}) =  \mathbf{0}.

Условная ковариационная матрица[править | править вики-текст]

Ковариационная матрица случайного вектора является характеристикой его распределения. В случае (многомерного) нормального распределения математическое ожидание вектора и его ковариационная матрица полностью определяют его распределение. Характеристиками условного распределения одного случайного вектора при условии заданного значения другого случайного вектора являются соответственно условное математическое ожидание (функция регрессии) и условная ковариационная матрица.

Пусть случайные векторы X и Y имеют совместное нормальное распределение с математическими ожиданиями \mu_X, \mu_Y, ковариационными матрицами V_X, V_Y и матрицей ковариаций C_{XY}. Это означает, что объединенный случайный вектор 
\boldsymbol Z
=
\begin{bmatrix}
 \boldsymbol X \\
 \boldsymbol Y
\end{bmatrix}
подчиняется многомерному нормальному распределению с вектором математического ожидания 
\boldsymbol \mu_{Z}
=
\begin{bmatrix}
 \boldsymbol \mu_X \\
 \boldsymbol \mu_Y
\end{bmatrix}, 
и ковариационной матрицей которую можно представить в виде следующей блочной матрицы


\boldsymbol V_Z
=
\begin{bmatrix}
 \boldsymbol V_X & \boldsymbol C_{XY} \\
 \boldsymbol C_{YX} & \boldsymbol V_{Y}
\end{bmatrix}
где C_{YX}=C^T_{XY}

Тогда случайный вектор Y при заданном значении случайного вектора X имеет нормальное распределение (условное) со следующим условным математическим ожиданием и условной ковариационной матрицей

 E(Y|X=x)=\mu_Y+C_{YX}V^{-1}_X(x-\mu_X), \qquad   V(Y|X=x)=V_Y-C_{YX}V^{-1}_XC_{XY}

Первое равенство определяет функцию линейной регрессии (зависимости условного математичесеого ожидания вектора Y от заданного значения x случайного вектора X), причем матрица C_{XY}V^{-1} - матрица коэффициентов регрессии.

Условная ковариационная матрица представляет собой матрицу ковариаций случайных ошибок линейных регрессий компонентов вектора Y на вектор X.

В случае если Y - обычная случайная величина (однокомпоненнтный вектор), условная ковариационная матрица - это условная дисперсия (по существу - случайной ошибки регрессии Y на вектор X)

Примечания[править | править вики-текст]

  1. 1 2 А. Н. Ширяев. Глава 2, §6. Случайные величины II // Вероятность. — 3-е изд. — Cambridge, New York,...: МЦНМО, 2004. — Т. 1. — С. 301. — 520 с.