Предельное правдоподобие

Функция предельного правдоподобия (англ. Marginal Likelihood Function) или интегрированное правдоподобие (англ. integrated likelihood) — это функция правдоподобия, в которой некоторые переменные параметры исключены. В контексте байесовской статистики, функция может называться обоснованностью (англ. evidence) или обоснованностью модели (англ. model evidence).

Концепция

Если дано множество независимых одинаково распределённых точек данных $\mathbb {X} =(x_{1},\ldots ,x_{n}),$, где параметр $x_{i}\sim p(x_{i}|\theta )$ согласно некоторому распределению вероятностей с параметром $\theta$, где параметр $\theta$ сам по себе является случайной величиной, заданной распределением, то есть $\theta \sim p(\theta |\alpha )$. Функция предельного правдоподобия в общем случае спрашивает, какова вероятность события $p(\mathbb {X} |\alpha )$, где $\theta$ исключено (путём интегрирования по этому параметру):

$p(\mathbb {X} |\alpha )=\int _{\theta }p(\mathbb {X} |\theta )\,p(\theta |\alpha )\ \operatorname {d} \!\theta$

Определение выше сформулировано в контексте байесовской статистики. В классической (частотной) статистике концепция предельного правдоподобия появляется вместо этого в контексте совместного параметра $\theta =(\psi ,\lambda )$, где $\psi$ является фактическим параметром, а $\lambda$ является мешающим параметром. Если существует распределение вероятности для $\lambda$, часто желательно рассмотреть функцию правдоподобия лишь в терминах $\psi$ путём исключения $\lambda$:

${\mathcal {L}}(\psi ;\mathbb {X} )=p(\mathbb {X} |\psi )=\int _{\lambda }p(\mathbb {X} |\lambda ,\psi )\,p(\lambda |\psi )\ \operatorname {d} \!\lambda$

К сожалению, предельные правдоподобия, как правило, трудно вычислить. Точные решения известны для малого класса распределений, в частности, когда исключаемый параметр является сопряжённым априорным распределением распределения данных. В других случаях нужен некий метод численного интегрирования, либо общий метод интегрирования, такой как метод Гаусса или метод Монте-Карло, или метод, разработанный специально для статистических задач, такой как аппроксимация Лапласа, семплирование по Гиббсу/Метрополису, или EM-алгоритм.

Можно также применить вышеприведённые соглашения к отдельной случайной величине (точке данных) x, а не к множеству наблюдений. В контексте байесовской теории это эквивалентно априорному прогнозируемому распределению точки данных.

Приложения

Сравнение байесовских моделей

При сравнении байесовских моделей исключённые переменные являются параметрами для определённого типа модели, а оставшиеся переменные являются характеристиками модели. В этом случае предельное правдоподобие является вероятностью данных при заданном типе модели без предположения о значениях каких-либо конкретных параметров. Функция предельного правдоподобия для модели M равна

$p(x|M)=\int p(x|\theta ,M)\,p(\theta |M)\,\operatorname {d} \!\theta$

Именно в этом контексте обычно используется термин обоснованность модели. Эта величина важна, поскольку отношение апостериорных шансов для модели M₁ и другой модели M₂ вовлекает отношение функций предельного правдоподобия, так называемый коэффициент Байеса:

${\frac {p(M_{1}|x)}{p(M_{2}|x)}}={\frac {p(M_{1})}{p(M_{2})}}\,{\frac {p(x|M_{1})}{p(x|M_{2})}}$

что можно схематично сформулировать как

апостериорные шансы = априорные шансы × коэффициент Байеса

См. также

• Эмпирический байесовский метод
• Частное распределение
• Парадокс Линдли