Оценка апостериорного максимума

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

В статистике метод оценки с помощью апостериорного максимума (MAP) тесно связан с методом максимального правдоподобия (ML), но дополнительно при оптимизации использует априорное распределение величины, которую оценивает.

Введение[править | править исходный текст]

Предположим, что нам нужно оценить неконтролируемый параметр выборки \theta на базе наблюдений x. Пусть f - выборочное распределение x, такое, что f(x|\theta) - вероятность x в то время как параметр выборки \theta. Тогда функция

\theta \mapsto f(x | \theta) \!

известна как функция правдоподобия, а оценка

\hat{\theta}_{\mathrm{ML}}(x) = \arg\max_{\theta} f(x | \theta) \!

как оценка максимального правдоподобия \theta.

Теперь, предположим, что априорное распределение g на \theta существует. Это позволяет рассматривать \theta как случайную величину как в Байесовской статистике. тогда апостериорное распределение \theta:

\theta \mapsto \frac{f(x | \theta) \, g(\theta)}{\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'} \!

где g плотность распределения \theta, \Theta - область определения g. Это прямое приложение Теоремы Байеса.

Метод оценки максимального правдоподобия затем оценивает \theta как апостериорное распределение этой случайной величины:

\hat{\theta}_{\mathrm{MAP}}(x)
= \arg\max_{\theta} \frac{f(x | \theta) \, g(\theta)}
  {\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'}
= \arg\max_{\theta} f(x | \theta) \, g(\theta)
\!

Знаменатель апостериорного распределения не зависит от \theta и поэтому не играет роли в оптимизации. Заметим, что MAP оценка \theta соответствует ML оценке когда априорная g постоянна (т.е., константа).

Пример[править | править исходный текст]

Предположим, что у нас есть последовательность (x_1, \dots, x_n) i.i.d. N(\mu,\sigma_v^2 ) случайных величин и априорное распределение \mu задано N(0,\sigma_m^2 ). Мы хотим найти MAP оценку \mu.

Функция, которую нужно максимизировать задана

\pi(\mu) L(\mu) =  \frac{1}{\sqrt{2 \pi \sigma_m}} \exp\left(-\frac{1}{2} \left(\frac{\mu}{\sigma_m}\right)^2\right) \prod_{j=1}^n \frac{1}{\sqrt{2 \pi \sigma_v}} \exp\left(-\frac{1}{2} \left(\frac{x_j - \mu}{\sigma_v}\right)^2\right),

что эквивалентно минимизации \mu в

 \sum_{j=1}^n \left(\frac{x_j - \mu}{\sigma_v}\right)^2 + \left(\frac{\mu}{\sigma_m}\right)^2.

Таким образом, мы видим, что MAP оценка для μ задана

\hat{\mu}_{MAP} =     \frac{\sigma_m^2}{n \sigma_m^2 + \sigma_v^2 } \sum_{j=1}^n x_j.

См. также[править | править исходный текст]

Литература[править | править исходный текст]

  • DeGroot, Morris H. Optimal Statistical Decisions. McGraw-Hill. 1970.
  • Harold W. Sorenson. Parameter Estimation: Principles and Problems. Marcel Dekker. 1980.