Теорема Рао — Блэквелла — Колмогорова

Теорема Рао — Блэквелла — Колмогорова — утверждение в математической статистике, на основе которого можно улучшать статистические оценки параметров.

Пусть $X_{1},\ldots ,X_{n}$ — последовательность независимых одинаково распределённых случайных величин с распределением, зависящим от некоторого неизвестного параметра $\theta \in \Theta .$ Пусть ${\hat {\theta }}(X)$ — некоторая статистическая оценка этого неизвестного параметра с конечной матрицей вторичных моментов, а $T=\mathrm {T} (X)\;$ — достаточная статистика для параметра $\theta .$ Тогда существует ${\hat {\theta }}_{1}(X)={\textrm {E}}[{\hat {\theta }}(X)|T(X)]$ и кроме того ${\hat {\theta }}_{1}(X)$ является лучшей оценкой параметра в смысле среднеквадратичного отклонения, то есть для любого вектора z необходимой размерности выполняется неравенство:

z{\textrm {E}}[({\hat {\theta }}_{1}(X)-\theta )^{T}({\hat {\theta }}_{1}(X)-\theta )]z^{T}\leqslant z{\textrm {E}}[({\hat {\theta }}(X)-\theta )^{T}({\hat {\theta }}(X)-\theta )]z^{T}.

Равенство выполняется лишь тогда, когда ${\hat {\theta }}$ является измеримой функцией от T.

Доказательство[править | править код]

Доказательство для случая когда параметр является одним числом, то есть его размерность равна единице. Тогда

\operatorname {E} [{\hat {\theta }}_{1}(X)-\theta ]^{2}=\operatorname {E} \left[{\textrm {E}}({\hat {\theta }}(X)|T(X))-\theta \right]^{2}=\operatorname {E} \left[{\textrm {E}}({\hat {\theta }}(X)-\theta |T(X))\right]^{2}\leqslant \operatorname {E} \left[{\textrm {E}}(({\hat {\theta }}(X)-\theta )^{2}|T(X))\right]=\operatorname {E} ({\hat {\theta }}(X)-\theta )^{2}.

Неравенство следует из того, что для любой случайной величины W, $\operatorname {var} W=\operatorname {E} W^{2}-(\operatorname {E} W)^{2}]\geqslant 0,$ если взять $W={\textrm {E}}({\hat {\theta }}(X)-\theta |T(X)).$ Отсюда также видим, что равенство выполняется лишь когда $\operatorname {var} \,W=0,$ то есть когда ${\hat {\theta }}(X)-\theta$ принимает одно значение для каждого значения T, то есть ${\hat {\theta }}(X)$ является функцией от T.