Информация Фишера

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Информа́ция Фи́шера - математическое ожидание квадрата относительной скорости изменения условной плотности вероятности в точке [1]. Эта функция названа в честь описавшего её Рональда Фишера.

Определение[править | править вики-текст]

Пусть плотность распределения для данной статистической модели. Тогда если определена функция

,

где — логарифмическая функция правдоподобия, а математическое ожидание при данном , то она называется информацией Фишера для данной статистической модели при независимых испытаниях.

Если дважды дифференцируем по , и при определенных условиях регулярности, информацию Фишера можно переписать как [2]

Для регулярных моделей: (В этом и состоит определение регулярности).

В этом случае, поскольку математическое ожидание функции вклада выборки равно нулю, выписанная величина равна её дисперсии.

Фишеровским количеством информации, содержащемся в одном наблюдении называют:

.

Для регулярных моделей все равны между собой.

Если выборка состоит из одного элемента, то информация Фишера записывается так:

.

Из условия регулярности, а также из того, что в случае независимости случайных величин дисперсия суммы равна сумме дисперсий, следует, что для независимых испытаний .

Свойства[править | править вики-текст]

  • Из указанного выше свойства дисперсий следует, что в случае независимости случайных величин (рассматриваемых в одной статистической модели) информация Фишера их суммы равна сумме информации Фишера каждой из них.

Сохранение информации достаточной статистикой[править | править вики-текст]

В общем случае, если — статистика выборки X, то

Причем равенство достигается тогда и только тогда, когдаT является достаточной статистикой.

Достаточная статистика содержит столько же информации Фишера, сколько и вся выборка X. Это может быть показано с помощью факторизационного критерия Неймана для достаточной статистики. Если статистика достаточна для параметра θ, то существуют функции g и h такие, что:

Равенство информации следует из:

что следует из определения информации Фишера и независимости от θ.

См. также[править | править вики-текст]

Другие меры, используемые в теории информации:

Примечания[править | править вики-текст]

  1. Леман, 1991, с. 112.
  2. Lehmann E. L. Theory of Point Estimation. — 2nd ed. — Springer, 1998. — ISBN 0-387-98502-6. , eq. (2.5.16).

Литература[править | править вики-текст]

  • Леман Э. Теория точечного оценивания. — М.: Наука, 1991. — 448 с. — ISBN 5-02-013941-6.