Достаточная статистика

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Достаточная статистика для параметра определяющая некоторое семейство распределений вероятности — статистика такая, что условная вероятность выборки при данном значении не зависит от параметра То есть выполняется равенство:

Достаточная статистика таким образом содержит в себе всю информацию о параметре , которая может быть получена на основе выборки X. Поэтому понятие достаточной статистики широко используется в теории оценки параметров.

Наиболее простой достаточной статистикой является сама выборка , однако действительно важными являются случаи, когда размерность достаточной статистики значительно меньше размерности выборки, в частности, когда достаточная статистика выражается лишь несколькими числами.

Достаточная статистика называется минимально достаточной, если для каждой достаточной статистики T существует неслучайная измеримая функция g, что почти всюду.

Теорема факторизации[править | править вики-текст]

Теорема факторизации даёт способ практического нахождения достаточной статистики для распределения вероятности. Она даёт достаточные и необходимые условия достаточности статистики и утверждение теорем иногда используется в качестве определения.

Пусть  — некоторая статистика, а  — условная функция плотности или функция вероятности (в зависимости от вида распределения) для вектора наблюдений X. Тогда является достаточной статистикой для параметра , если и только если существуют такие измеримые функции h и g, что можно записать:

Доказательство[править | править вики-текст]

Ниже приведено доказательство для частного случая, когда распределение вероятностей является дискретным. Тогда  — Функция вероятности.

Пусть данная функция имеет факторизацию, как в формулировке теоремы, и

Тогда имеем:

Отсюда видим, что условная вероятность вектора X при заданном значении статистики не зависит от параметра и соответственно  — достаточная статистика.

Наоборот можем записать:

Из приведённого выше имеем, что первый множитель правой части не зависит от параметра и его можно взять за функцию h(x) из формулировки теоремы. Другой множитель является функцией от и и его можно взять за функцию Таким образом, получена необходимая декомпозиция, что завершает доказательство теоремы.

Примеры[править | править вики-текст]

Распределение Бернулли[править | править вики-текст]

Пусть  — последовательность случайных величин, что равны 1 с вероятностью p и равны 0 с вероятностью 1 — p (то есть, имеют распределение Бернулли). Тогда

если взять

Тогда данная статистика является достаточной согласно теореме факторизации, если обозначить

Распределение Пуассона[править | править вики-текст]

Пусть  — последовательность случайных величин с распределением Пуассона. Тогда


где

Данная статистика является достаточной согласно теореме факторизации, если обозначить

Равномерное распределение[править | править вики-текст]

Пусть  — последовательность равномерно распределённых случайных величин . Для этого случая

Отсюда следует, что статистика является достаточной.

Нормальное распределение[править | править вики-текст]

Для случайных величин с нормальным распределением достаточной статистикой будет

Свойства[править | править вики-текст]

  • Для достаточной статистики T и биективного отображения статистика тоже является достаточной.
  • Если  — статистическая оценка некоторого параметра  — некоторая достаточная статистика и то является лучшей оценкой параметра в смысле среднеквадратичного отклонения, то есть выполняется неравенство
причём равенство достигается лишь когда является измеримой функцией от T. (Теорема Рао — Блэквелла — Колмогорова)
  • Из предыдущего получается, что оценка может быть оптимальной в смысле среднеквадратичного отклонения лишь когда она является измеримой функцией минимальной достаточной статистики.
  • Если статистика является достаточной и полной (то есть, из того, что следует, что ), то произвольная измеримая функция от неё является оптимальной оценкой своего математического ожидания.

См. также[править | править вики-текст]

Литература[править | править вики-текст]