Неравенство Крамера — Рао

В математической статистике неравенством Краме́ра — Ра́о (в честь Гаральда Крамера и К. Р. Рао) называется неравенство, которое при некоторых условиях на статистическую модель даёт нижнюю границу для дисперсии оценки неизвестного параметра, выражая её через информацию Фишера.

Формулировка

Пусть дана статистическая модель $(X,\,B,\,P_\theta)$, $x = (x_1,\dots,\,x_n)$ — выборка размера $n$, определена функция правдоподобия $L(\theta,\,x) = L(\theta,\;x_1,\,x_2,\dots\,x_n)$ и выполнены следующие условия (условия регулярности):

• $L_{}^{} > 0$ и везде дифференцируема по $\theta_{}^{}$.
• Функция $U(\theta,\,x) = \frac{\partial \ln L(\theta,\,x)}{\partial \theta}$ (функция вклада выборки) имеет конечную дисперсию (или, что то же, конечна информация Фишера).
• Для любой статистики $\widehat{\theta}(x)$ с конечным вторым моментом имеет место равенство

$\frac{\partial}{\partial \theta} \int\limits_X \widehat{\theta}(x)\, L(\theta,\,x)\, dx = \int\limits_X \widehat{\theta}(x)\, \frac{\partial}{\partial \theta} L(\theta,\,x)\, dx$.

Пусть при этих условиях дана статистика $\widehat{\theta}(x)$, которая несмещённо оценивает дифференцируемую функцию $\tau(\theta)$. Тогда справедливо следующее неравенство:

• $\mathrm{D}_\theta \big(\widehat{\theta}(x)\big) \geqslant \frac{1}{n I(\theta)}$, где $I(\theta)=M\left ( \frac {d \ln L(\theta, x)}{d\theta} \right )^2$;
• равенство достигается тогда и только тогда, когда $\frac {d \ln L(\theta, x)}{d\theta} = a(\theta)(\widehat{\theta}(x)-\theta)$.

Здесь $I^{}(\theta)$ — количество информации по Фишеру в одном наблюдении, а $L(\theta, t)$ - плотность распределения генеральной совокупности $X$ в случае непрерывной статистической модели и вероятность события $(X=t)$ в случае дискретной статистической модели.

Частный случай

Часто используется следующий частный случай вышеприведённого неравенства, также называемый неравенством Рао-Крамера. Пусть выполнены условия регулярности, а $\widehat{\theta}(x)$ — несмещённая оценка параметра $\theta$. Тогда

$\mathrm{D}_\theta\,\widehat{\theta}(x)\geqslant\frac{1}{I_n(\theta)}$.

Равенство в этом неравенстве достигается тогда и только тогда, когда $\hat \theta (x)-\theta=a(\theta)U(\theta,x)$.

Применение

Оценка параметра называется эффективной, если для неё неравенство Крамера — Рао обращается в равенство. Таким образом, неравенство может быть использовано для доказательства того, что дисперсия данной оценки наименьшая из возможных, то есть что данная оценка в некотором смысле лучше всех остальных.

Литература

• Математическая статистика, под ред. В.С. Зарубина, серия "Математика в техническом университете", вып. XVII, М., МГТУ, 2002