Метод максимального правдоподобия

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Ме́тод максима́льного правдоподо́бия или метод наибольшего правдоподобия (ММП, ML, MLE — Maximum Likelihood Estimation) в математической статистике — это метод оценивания неизвестного параметра путём максимизации функции правдоподобия[1]. Основан на предположении о том, что вся информация о статистической выборке содержится в функции правдоподобия. Метод максимального правдоподобия был проанализирован, рекомендован и значительно популяризирован Р. Фишером между 1912 и 1922 годами (хотя ранее он был использован Гауссом, Лапласом и другими).

Оценка максимального правдоподобия является популярным статистическим методом, который используется для создания статистической модели на основе данных, и обеспечения оценки параметров модели.

Метод максимального правдоподобия соответствует многим известным методам оценки в области статистики. Например, вы интересуетесь таким антропометрическим параметром, как рост жителей Украины. Предположим, у вас имеются данные о росте некоторого количества людей, а не всего населения. Кроме того предполагается, что рост является нормально распределенной величиной с неизвестной дисперсией и средним значением. Среднее значение и дисперсия роста в выборке являются максимально правдоподобными к среднему значению и дисперсии всего населения.

Для фиксированного набора данных и базовой вероятностной модели, используя метод максимального правдоподобия, мы получим значения параметров модели, которые делают данные «более близкими» к реальным. Оценка максимального правдоподобия дает уникальный и простой способ определить решения в случае нормального распределения.

Метод оценки максимального правдоподобия применяется для широкого круга статистических моделей, в том числе:

  • линейные модели и обобщенные линейные модели;
  • факторный анализ;
  • моделирование структурных уравнений;
  • многие ситуации, в рамках проверки гипотезы и доверительного интервала формирования;
  • дискретные модели выбора.

Сущность метода[править | править исходный текст]

Пусть есть выборка X_1,\ldots,X_n из распределения \mathbb{P}_{\theta}, где \theta \in \Theta — неизвестные параметры. Пусть L(\mathbf{x} \mid \theta)\colon \Theta \to \mathbb{R} — функция правдоподобия, где \mathbf{x} \in \mathbb{R}^n. Точечная оценка

\hat{\theta}_{\mathrm{M\Pi}} = \hat{\theta}_{\mathrm{M\Pi}} (X_1,\ldots, X_n) = \arg \max\limits_{\theta \in \Theta} L(X_1 ,\ldots, X_n \mid \theta )

называется оце́нкой максима́льного правдоподо́бия параметра \theta. Таким образом оценка максимального правдоподобия — это такая оценка, которая максимизирует функцию правдоподобия при фиксированной реализации выборки.

Часто вместо функции правдоподобия L используют логарифмическую функцию правдоподобия l=\ln L. Так как функция x \to \ln x,\; x > 0 монотонно возрастает на всей области определения, максимум любой функции L(\theta) является максимумом функции  \ln L(\theta), и наоборот. Таким образом,

\hat{\theta}_{\mathrm{M\Pi}} = \arg \max\limits_{\theta \in \Theta} l(X_1 ,\ldots, X_n \mid \theta ),

Если функция правдоподобия дифференцируема, то необходимое условие экстремума — равенство нулю ее градиента:

g(\theta)=\frac {\partial l(\mathbf{x},\theta_0)}{\partial \theta}=0

Достаточное условие экстремума может быть сформулировано как отрицательная определенность гессиана — матрицы вторых производных:

H=\frac {\partial^2 l(\mathbf{x},\theta_0)}{\partial \theta \partial \theta^T}

Важное значение для оценки свойств оценок метода максимального правдоподобия играет так называемая информационная матрица, равная по определению:

I(\theta)=E[g(\theta)g(\theta)^T]

В оптимальной точке информационная матрица совпадает с математическим ожиданием гессиана, взятым со знаком минус:

I=-E(H_0)

Свойства[править | править исходный текст]

  • Оценки максимального правдоподобия, вообще говоря, могут быть смещёнными (см. примеры), но являются состоятельными, асимптотически эффективными и асимптотически нормальными оценками. Асимптотическая нормальность означает, что
\sqrt {n}(\hat{\theta}-\theta) \xrightarrow  d N(0,\boldsymbol{I}^{-1}_{\infty})

где \boldsymbol{I}_{\infty}=-\lim_{n \rightarrow \infty} \frac {1}{n} \mathbb{E}(\boldsymbol{H}) - асимптотическая информационная матрица

Асимптотическая эффективность означает, что асимптотическая ковариационная матрица \boldsymbol{I}^{-1}_{\infty} является нижней границей для всех состоятельных асимптотически нормальных оценок.

  • Если \hat{\theta} — оценка метода максимального правдоподобия, параметров \theta, то g(\hat{\theta}) является оценкой максимального правдоподобия для g(\theta), где g-непрерывная функция (функциональная инвариантность). Таким образом, законы распределения данных можно параметризовать различным образом.

Примеры[править | править исходный текст]

f(\mathbf{x} \mid \theta ) = 
\begin{cases}
\frac{1}{\theta^n}, & \mathbf{x} \in [0,\theta]^n \subset \mathbb{R}^n \\
0, & \mathbf{x} \not\in [0,\theta]^n
\end{cases}
.

Последнее равенство может быть переписано в виде:

f(\mathbf{x} \mid \theta ) = 
\begin{cases}
\frac{1}{\theta^n}, & \theta \ge \max(x_1,\ldots,x_n) \\
0, & \theta < \max(x_1,\ldots,x_n) 
\end{cases}
,

где \mathbf{x} = (x_1,\ldots,x_n)^{\top}, откуда видно, что своего максимума функция правдоподобия достигает в точке \theta = \max(x_1,\ldots,x_n). Таким образом

\hat{\theta}_{\mathrm{M\Pi}} = \max(X_1,\ldots, X_n).

Такая оценка будет смещенной: P\{\max(X_1,\ldots, X_n) \le x \}= \left(\frac{x}{\theta}\right)^n, откуда E\hat{\theta}_{\mathrm{M\Pi}} = \int_0^\theta x d\left(\frac{x}{\theta}\right)^n = \frac{n}{n+1}\theta

  • Пусть X_1,\ldots,X_n \sim \mathrm{N}(\mu,\sigma^2) — независимая выборка из нормального распределения с неизвестными средним и дисперсией. Построим оценку максимального правдоподобия \left(\hat{\mu}_{\mathrm{M\Pi}}, \widehat{\sigma^2}_{\mathrm{M\Pi}}\right)^{\top} для неизвестного вектора параметров \left(\mu,\sigma^2\right)^{\top}. Логарифмическая функция правдоподобия принимает вид
L(\mathbf{x} \mid\mu, \sigma^2) = - \frac{n}{2} \ln (2 \pi \sigma^2) - \frac{1}{2\sigma^2} \sum\limits_{i=1}^n (X_i - \mu)^2.

Чтобы найти её максимум, приравняем к нулю частные производные:


\left\{
\begin{matrix}
\displaystyle \frac{\partial}{\partial \mu} L(\mathbf{x} \mid \mu, \sigma^2 ) = 0 \\[10pt]
\displaystyle \frac{\partial}{\partial \sigma^2} L(\mathbf{x} \mid \mu, \sigma^2 ) = 0 \\
\end{matrix}
\right. \Rightarrow
\left\{
\begin{matrix}
\displaystyle \frac{ \sum\limits_{i=1}^n X_i - n \mu}{\sigma^2} = 0 \\[10pt]
\displaystyle -\frac{n}{2 \sigma^2} +\frac{\sum\limits_{i=1}^n (X_i - \mu)^2}{2 \left(\sigma^2\right)^2}  = 0 \\
\end{matrix}
\right.,

откуда

\hat{\mu}_{\mathrm{M\Pi}} = \bar{X} — выборочное среднее, а
\widehat{\sigma^2}_{\mathrm{M\Pi}} = S^2_n — выборочная дисперсия.

Условный метод максимального правдоподобия[править | править исходный текст]

Условный метод максимального правдоподобия (Conditional ML) используется в регрессионных моделях. Суть метода заключается в том, что используется не полное совместное распределение всех переменных (зависимой и регрессоров), а только условное распределение зависимой переменной по факторам, то есть фактически распределение случайных ошибок регрессионной модели. Полная функция правдоподобия есть произведение «условной функции правдоподобия» и плотности распределения факторов. Условный ММП эквивалентен полному варианту ММП в том случае, когда распределение факторов никак не зависит от оцениваемых параметров. Это условие часто нарушается в моделях временных рядов, например в авторегрессионной модели. В данном случае, регрессорами являются прошлые значения зависимой переменной, а значит их значения также подчиняются той же AR-модели, то есть распределение регрессоров зависит от оцениваемых параметров. В таких случаях результаты применения условного и полного метода максимального правдоподобия будут различаться.

См. также[править | править исходный текст]

Примечания[править | править исходный текст]

  1. Фишер — 1912 г. Математический энциклопедический словарь, М.: Советская энциклопедия, 1988.

Литература[править | править исходный текст]

  • Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика. Начальный курс. — М.: Дело, 2007. — 504 с. — ISBN 978-5-7749-0473-0
  • Остапенко Р. И. Основы структурного моделирования в психологии и педагогике: учебно-методическое пособие для студентов психолого-педагогического факультета. — Воронеж.: ВГПУ, 2012. — 116 с. — ISBN 978-5-88519-886-8