В статистике метод оценки с помощью апостериорного максимума (MAP) тесно связан с методом максимального правдоподобия (ML), но дополнительно при оптимизации использует априорное распределение величины, которую оценивает.
Предположим, что нам нужно оценить неконтролируемый параметр выборки
на базе наблюдений
. Пусть
— выборочное распределение
, такое, что
— вероятность
в то время как параметр выборки
. Тогда функция
![{\displaystyle \theta \mapsto f(x|\theta )}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5e20af5cde634c106d20cc272734d473533cda85)
известна как функция правдоподобия, а оценка
![{\displaystyle {\hat {\theta }}_{\mathrm {ML} }(x)=\arg \max _{\theta }f(x|\theta )}](https://wikimedia.org/api/rest_v1/media/math/render/svg/65122e7dac2481d7c4fa5c60d40ddd6eef66e29e)
как оценка максимального правдоподобия
.
Теперь, предположим, что априорное распределение
на
существует. Это позволяет рассматривать
как случайную величину как в Байесовской статистике. Тогда апостериорное распределение
:
![{\displaystyle \theta \mapsto {\frac {f(x|\theta )\,g(\theta )}{\int _{\Theta }f(x|\theta ')\,g(\theta ')\,d\theta '}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/34b46fd05c4765ef865ba4b5dd7a9779ad9ba111)
где
плотность распределения
,
— область определения
. Это прямое приложение Теоремы Байеса.
Метод оценки максимального правдоподобия затем оценивает
как апостериорное распределение этой случайной величины:
![{\displaystyle {\hat {\theta }}_{\mathrm {MAP} }(x)=\arg \max _{\theta }{\frac {f(x|\theta )\,g(\theta )}{\int _{\Theta }f(x|\theta ')\,g(\theta ')\,d\theta '}}=\arg \max _{\theta }f(x|\theta )\,g(\theta )}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ea945ce6400b6d3629bebab938b8edfb06a030f8)
Знаменатель апостериорного распределения не зависит от
и поэтому не играет роли в оптимизации. Заметим, что MAP оценка
соответствует ML оценке когда априорная
постоянна (то есть, константа).
Предположим, что у нас есть последовательность
i.i.d.
случайных величин и априорное распределение
задано
. Мы хотим найти MAP оценку
.
Функция, которую нужно максимизировать задана
![{\displaystyle \pi (\mu )L(\mu )={\frac {1}{\sqrt {2\pi \sigma _{m}}}}\exp \left(-{\frac {1}{2}}\left({\frac {\mu }{\sigma _{m}}}\right)^{2}\right)\prod _{j=1}^{n}{\frac {1}{\sqrt {2\pi \sigma _{v}}}}\exp \left(-{\frac {1}{2}}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}\right),}](https://wikimedia.org/api/rest_v1/media/math/render/svg/db3d4a56ae577916b5768f3c51475aef20781581)
что эквивалентно минимизации
в
![{\displaystyle \sum _{j=1}^{n}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}+\left({\frac {\mu }{\sigma _{m}}}\right)^{2}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2bc22ed4a09d166c5ade6fe44f4be969c89de3d8)
Таким образом, мы видим, что MAP оценка для μ задана
![{\displaystyle {\hat {\mu }}_{MAP}={\frac {\sigma _{m}^{2}}{n\sigma _{m}^{2}+\sigma _{v}^{2}}}\sum _{j=1}^{n}x_{j}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/269a23fbf49125032db656444988bdc743450a8d)
- DeGroot, Morris H. Optimal Statistical Decisions. McGraw-Hill. 1970.
- Harold W. Sorenson. Parameter Estimation: Principles and Problems. Marcel Dekker. 1980.