Ковариационная матрица

Ковариацио́нная ма́трица (или ма́трица ковариа́ций) в теории вероятностей — это матрица, составленная из попарных ковариаций элементов двух случайных векторов.

Определения

• Пусть $\mathbf{X}:\Omega \to \mathbb{R}^n$, $\mathbf{Y}:\Omega \to \mathbb{R}^m$ — два случайных вектора размерности $n$ и $m$ соответственно. Пусть также случайные величины $X_i,Y_j,\; i=1,\ldots, n,\; j = 1,\ldots, m$ имеют конечный второй момент, то есть $X_i,Y_j \in L^2$. Тогда матрицей ковариации векторов $\mathbf{X},\mathbf{Y}$ называется

$\Sigma = \mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathbb{E}\left[(\mathbf{X} - \mathbb{E}\mathbf{X})(\mathbf{Y} - \mathbb{E}\mathbf{Y})^{\top}\right],$

то есть

$\Sigma = (\sigma_{ij})$,

где

$\sigma_{ij} = \mathrm{cov}(X_i,Y_j) \equiv \mathbb{E}\left[(X_i - \mathbb{E}X_i) (Y_j - \mathbb{E}Y_j)\right],\; i=1,\ldots, n,\; j = 1,\ldots, m$.

• Если $\mathbf{X} \equiv \mathbf{Y}$, то $\Sigma$ называется матрицей ковариации вектора $\mathbf{X}$ и обозначается $\mathrm{cov}(\mathbf{X})$.Такая матрица ковариации является обобщением дисперсии для многомерной случайной величины, а ее след — скалярным выражением дисперсии многомерной случайной величины. Собственные векторы и собственные числа этой матрицы позволяют оценить размеры и форму облака распределения такой случайной величины, аппроксимировав его эллипсоидом (или эллипсом в двумерном случае).

Свойства матриц ковариации

• Сокращённая формула для вычисления матрицы ковариации:

$\mathrm{cov}(\mathbf{X}) = \mathbb{E}\left[\mathbf{X} \mathbf{X}^{\top}\right] - \mathbb{E}[\mathbf{X}] \cdot \mathbb{E}\left[\mathbf{X}^{\top}\right]$.

• Матрица ковариации случайного вектора неотрицательно определена:

$\mathrm{cov}(\mathbf{X}) \ge 0$.

• Смена масштаба:

$\mathrm{cov}\left(\mathbf{a}^{\top} \mathbf{X}\right) = \mathbf{a}^{\top} \mathrm{cov}(\mathbf{X}) \mathbf{a},\; \forall \mathbf{a} \in \mathbb{R}^n$.

• Если случайные векторы $\mathbf{X}$ и $\mathbf{Y}$ нескоррелированы ($\mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathbf{0}$), то

$\mathrm{cov}(\mathbf{X} + \mathbf{Y}) = \mathrm{cov}(\mathbf{X}) + \mathrm{cov}(\mathbf{Y})$.

• Матрица ковариации аффинного преобразования:

$\mathrm{cov}\left(\mathbf{A} \mathbf{X} + \mathbf{b}\right) = \mathbf{A} \mathrm{cov}(\mathbf{X}) \mathbf{A}^{\top}$,

где $\mathbf{A}$ — произвольная матрица размера $n \times n$, а $\mathbf{b}\in \mathbb{R}^n$.

• Перестановка аргументов:

$\mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathrm{cov}(\mathbf{Y},\mathbf{X})^{\top}$

• Матрица ковариации аддитивна по каждому аргументу:

$\mathrm{cov}(\mathbf{X}_1 + \mathbf{X}_2,\mathbf{Y}) = \mathrm{cov}(\mathbf{X}_1,\mathbf{Y}) + \mathrm{cov}(\mathbf{X}_2,\mathbf{Y})$,

$\mathrm{cov}(\mathbf{X},\mathbf{Y}_1 + \mathbf{Y}_2) = \mathrm{cov}(\mathbf{X},\mathbf{Y}_1) + \mathrm{cov}(\mathbf{X},\mathbf{Y}_2)$.

• Если $\mathbf{X}$ и $\mathbf{Y}$ независимы, то

$\mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathbf{0}$.