Неравенство Крамера — Рао

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

В математической статистике неравенством Краме́ра — Ра́о (в честь Гаральда Крамера и К. Р. Рао) называется неравенство, которое при некоторых условиях на статистическую модель даёт нижнюю границу для дисперсии оценки неизвестного параметра, выражая её через информацию Фишера.

Формулировка[править | править исходный текст]

Пусть дана статистическая модель (X,\,B,\,P_\theta), x = (x_1,\dots,\,x_n)выборка размера n, определена функция правдоподобия L(\theta,\,x) = L(\theta,\;x_1,\,x_2,\dots\,x_n) и выполнены следующие условия (условия регулярности):

\frac{\partial}{\partial \theta} \int\limits_X \widehat{\theta}(x)\, L(\theta,\,x)\, dx = \int\limits_X \widehat{\theta}(x)\, \frac{\partial}{\partial \theta} L(\theta,\,x)\, dx.

Пусть при этих условиях дана статистика \widehat{\theta}(x), которая несмещённо оценивает дифференцируемую функцию \tau(\theta). Тогда справедливо следующее неравенство:

  • \mathrm{D}_\theta \big(\widehat{\theta}(x)\big) \geqslant \frac{(\tau'(\theta))^2}{n I(\theta)}, где I(\theta)=M\left ( \frac {d \ln L(\theta, x)}{d\theta} \right )^2;
  • равенство достигается тогда и только тогда, когда \frac {d \ln L(\theta, x)}{d\theta} = a(\theta)(\widehat{\theta}(x)-\theta) .

Здесь I^{}(\theta) — количество информации по Фишеру в одном наблюдении, а L(\theta, t) - плотность распределения генеральной совокупности X в случае непрерывной статистической модели и вероятность события (X=t) в случае дискретной статистической модели.

Частный случай[править | править исходный текст]

Часто используется следующий частный случай вышеприведённого неравенства, также называемый неравенством Рао-Крамера. Пусть выполнены условия регулярности, а \widehat{\theta}(x)несмещённая оценка параметра \theta. Тогда

\mathrm{D}_\theta\,\widehat{\theta}(x)\geqslant\frac{1}{I_n(\theta)}.

Равенство в этом неравенстве достигается тогда и только тогда, когда \hat \theta (x)-\theta=a(\theta)U(\theta,x).

Применение[править | править исходный текст]

Оценка параметра называется эффективной, если для неё неравенство Крамера — Рао обращается в равенство. Таким образом, неравенство может быть использовано для доказательства того, что дисперсия данной оценки наименьшая из возможных, то есть что данная оценка в некотором смысле лучше всех остальных.

Литература[править | править исходный текст]

  • Математическая статистика, под ред. В.С. Зарубина, серия "Математика в техническом университете", вып. XVII, М., МГТУ, 2002