Ковариационная матрица

Ковариацио́нная ма́трица (или ма́трица ковариа́ций) в теории вероятностей — это матрица, составленная из попарных ковариаций элементов одного или двух случайных векторов.

Ковариационная матрица случайного вектора — квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы — ковариации между компонентами.

Ковариационная матрица случайного вектора является многомерным аналогом дисперсии случайной величины для случайных векторов. Матрица ковариаций двух случайных векторов — многомерный аналог ковариации между двумя случайными величинами.

В случае нормально распределённого случайного вектора ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение (по аналогии с тем, что математическое ожидание и дисперсия нормально распределённой случайной величины полностью определяют её распределение)

Определения

• Пусть $\mathbf {X} :\Omega \to \mathbb {R} ^{n}$, $\mathbf {Y} :\Omega \to \mathbb {R} ^{m}$ — два случайных вектора размерности $n$ и $m$ соответственно. Пусть также случайные величины $X_{i},Y_{j},\;i=1,\ldots ,n,\;j=1,\ldots ,m$ имеют конечный второй момент (дисперсию), то есть $X_{i},Y_{j}\in L^{2}$. Тогда матрицей ковариации векторов $\mathbf {X} ,\mathbf {Y}$ называется

$\Sigma =\mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbb {E} \left[(\mathbf {X} -\mathbb {E} \mathbf {X} )(\mathbf {Y} -\mathbb {E} \mathbf {Y} )^{\top }\right],$

то есть

$\Sigma =(\sigma _{ij})$,

где

$\sigma _{ij}=\mathrm {cov} (X_{i},Y_{j})\equiv \mathbb {E} \left[(X_{i}-\mathbb {E} X_{i})(Y_{j}-\mathbb {E} Y_{j})\right],\;i=1,\ldots ,n,\;j=1,\ldots ,m$,

$\mathbb {E}$ — математическое ожидание.

• Если $\mathbf {X} \equiv \mathbf {Y}$, то $\Sigma$ называется матрицей ковариации вектора $\mathbf {X}$ и обозначается $\mathrm {cov} (\mathbf {X} )$. Такая матрица ковариации является обобщением дисперсии для многомерной случайной величины, а её след — скалярным выражением дисперсии многомерной случайной величины. В связи с этим используется также обозначение $V(X)$ — дисперсия случайного вектора. Собственные векторы и собственные числа этой матрицы позволяют оценить размеры и форму облака распределения такой случайной величины, аппроксимировав его эллипсоидом (или эллипсом в двумерном случае).

Свойства матриц ковариации

• Сокращённая формула для вычисления матрицы ковариации:

$\mathrm {cov} (\mathbf {X} )=\mathbb {E} \left[\mathbf {X} \mathbf {X} ^{\top }\right]-\mathbb {E} [\mathbf {X} ]\cdot \mathbb {E} \left[\mathbf {X} ^{\top }\right]$.

• Матрица ковариации случайного вектора неотрицательно определена:

$\mathrm {cov} (\mathbf {X} )\geq 0$.

• Смена масштаба:

$\mathrm {cov} \left(\mathbf {a} ^{\top }\mathbf {X} \right)=\mathbf {a} ^{\top }\mathrm {cov} (\mathbf {X} )\mathbf {a} ,\;\forall \mathbf {a} \in \mathbb {R} ^{n}$.

• Если случайные векторы $\mathbf {X}$ и $\mathbf {Y}$ нескоррелированы ($\mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbf {0}$), то

$\mathrm {cov} (\mathbf {X} +\mathbf {Y} )=\mathrm {cov} (\mathbf {X} )+\mathrm {cov} (\mathbf {Y} )$.

• Матрица ковариации аффинного преобразования:

$\mathrm {cov} \left(\mathbf {A} \mathbf {X} +\mathbf {b} \right)=\mathbf {A} \mathrm {cov} (\mathbf {X} )\mathbf {A} ^{\top }$,

где $\mathbf {A}$ — произвольная матрица размера $n\times n$, а $\mathbf {b} \in \mathbb {R} ^{n}$.

• Перестановка аргументов:

$\mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathrm {cov} (\mathbf {Y} ,\mathbf {X} )^{\top }$

• Матрица ковариации аддитивна по каждому аргументу:

$\mathrm {cov} (\mathbf {X} _{1}+\mathbf {X} _{2},\mathbf {Y} )=\mathrm {cov} (\mathbf {X} _{1},\mathbf {Y} )+\mathrm {cov} (\mathbf {X} _{2},\mathbf {Y} )$,

$\mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{1}+\mathbf {Y} _{2})=\mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{1})+\mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{2})$.

• Если $\mathbf {X}$ и $\mathbf {Y}$ независимы, то

$\mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbf {0}$.

Условная ковариационная матрица

Ковариационная матрица случайного вектора является характеристикой его распределения. В случае (многомерного) нормального распределения математическое ожидание вектора и его ковариационная матрица полностью определяют его распределение. Характеристиками условного распределения одного случайного вектора при условии заданного значения другого случайного вектора являются соответственно условное математическое ожидание (функция регрессии) и условная ковариационная матрица.

Пусть случайные векторы $X$ и $Y$ имеют совместное нормальное распределение с математическими ожиданиями $\mu _{X},\mu _{Y}$, ковариационными матрицами $V_{X},V_{Y}$ и матрицей ковариаций $C_{XY}$. Это означает, что объединенный случайный вектор ${\boldsymbol {Z}}={\begin{bmatrix}{\boldsymbol {X}}\\{\boldsymbol {Y}}\end{bmatrix}}$ подчиняется многомерному нормальному распределению с вектором математического ожидания ${\boldsymbol {\mu }}_{Z}={\begin{bmatrix}{\boldsymbol {\mu }}_{X}\\{\boldsymbol {\mu }}_{Y}\end{bmatrix}},$ и ковариационной матрицей которую можно представить в виде следующей блочной матрицы

${\boldsymbol {V}}_{Z}={\begin{bmatrix}{\boldsymbol {V}}_{X}&{\boldsymbol {C}}_{XY}\\{\boldsymbol {C}}_{YX}&{\boldsymbol {V}}_{Y}\end{bmatrix}}$ где $C_{YX}=C_{XY}^{T}$

Тогда случайный вектор $Y$ при заданном значении случайного вектора $X$ имеет нормальное распределение (условное) со следующим условным математическим ожиданием и условной ковариационной матрицей

$E(Y|X=x)=\mu _{Y}+C_{YX}V_{X}^{-1}(x-\mu _{X}),\qquad V(Y|X=x)=V_{Y}-C_{YX}V_{X}^{-1}C_{XY}$

Первое равенство определяет функцию линейной регрессии (зависимости условного математического ожидания вектора $Y$ от заданного значения x случайного вектора $X$), причем матрица $C_{XY}V^{-1}$ - матрица коэффициентов регрессии.

Условная ковариационная матрица представляет собой матрицу ковариаций случайных ошибок линейных регрессий компонентов вектора $Y$ на вектор $X$.

В случае если $Y$ - обычная случайная величина (однокомпонентный вектор), условная ковариационная матрица - это условная дисперсия (по существу - случайной ошибки регрессии $Y$ на вектор $X$)