Метод максимального правдоподобия
Ме́тод максима́льного правдоподо́бия или метод наибольшего правдоподобия (ММП, ML, MLE — англ. maximum likelihood estimation) в математической статистике — это метод оценивания неизвестного параметра путём максимизации функции правдоподобия[1]. Основан на предположении о том, что вся информация о статистической выборке содержится в функции правдоподобия.
Метод максимального правдоподобия был проанализирован, рекомендован и значительно популяризирован Р. Фишером между 1912 и 1922 годами (хотя ранее он был использован Гауссом, Лапласом и другими).
Оценка максимального правдоподобия является популярным статистическим методом, который используется для создания статистической модели на основе данных и обеспечения оценки параметров модели.
Метод максимального правдоподобия соответствует многим известным методам оценки в области статистики. Например, вы интересуетесь таким антропометрическим параметром, как рост жителей России. Предположим, у вас имеются данные о росте некоторого количества людей, а не всего населения. Кроме того, предполагается, что рост является нормально распределённой величиной с неизвестной дисперсией и средним значением. Среднее значение и дисперсия роста в выборке являются максимально правдоподобными к среднему значению и дисперсии всего населения.
Для фиксированного набора данных и базовой вероятностной модели, используя метод максимального правдоподобия, мы получим значения параметров модели, которые делают данные «более близкими» к реальным. Оценка максимального правдоподобия даёт уникальный и простой способ определить решения в случае нормального распределения.
Метод оценки максимального правдоподобия применяется для широкого круга статистических моделей, в том числе:
- линейные модели и обобщённые линейные модели;
- факторный анализ;
- моделирование структурных уравнений;
- многие ситуации, в рамках проверки гипотезы и доверительного интервала формирования;
- дискретные модели выбора.
Сущность метода
[править | править код]Пусть есть выборка из распределения , где — неизвестные параметры. Пусть — функция правдоподобия, где . Точечная оценка
называется оце́нкой максима́льного правдоподо́бия параметра . Таким образом оценка максимального правдоподобия — это такая оценка, которая максимизирует функцию правдоподобия при фиксированной реализации выборки.
Часто вместо функции правдоподобия используют логарифмическую функцию правдоподобия . Так как функция монотонно возрастает на всей области определения, максимум любой функции является максимумом функции и наоборот. Таким образом,
- ,
Если функция правдоподобия дифференцируема, то необходимое условие экстремума — равенство нулю её градиента:
Достаточное условие экстремума может быть сформулировано как отрицательная определённость гессиана — матрицы вторых производных:
Важное значение для оценки свойств оценок метода максимального правдоподобия играет так называемая информационная матрица, равная по определению:
В оптимальной точке информационная матрица совпадает с математическим ожиданием гессиана, взятым со знаком минус:
Свойства
[править | править код]- Оценки максимального правдоподобия, вообще говоря, могут быть смещёнными (см. примеры), но являются состоятельными, асимптотически эффективными и асимптотически нормальными оценками. Асимптотическая нормальность означает, что
где — асимптотическая информационная матрица.
Асимптотическая эффективность означает, что асимптотическая ковариационная матрица является нижней границей для всех состоятельных асимптотически нормальных оценок.
- Если — оценка метода максимального правдоподобия, параметров , то является оценкой максимального правдоподобия для , где g — непрерывная функция (функциональная инвариантность). Таким образом, законы распределения данных можно параметризовать различным образом.
- Также необходимым условием МП-оценок является выполнение системы вида:
- где — функция правдоподобия выборки объёма
Примеры
[править | править код]- Пусть — независимая выборка из непрерывного равномерного распределения на отрезке , где — неизвестный параметр. Тогда функция правдоподобия имеет вид
Последнее равенство может быть переписано в виде:
где , откуда видно, что своего максимума функция правдоподобия достигает в точке . Таким образом
- .
Такая оценка будет смещенной: , откуда
- Пусть — независимая выборка из нормального распределения с неизвестными средним и дисперсией. Построим оценку максимального правдоподобия для неизвестного вектора параметров . Логарифмическая функция правдоподобия принимает вид
- .
Чтобы найти её максимум, приравняем к нулю частные производные:
откуда
Применение метода[2]
[править | править код]Обработка эксперимента
[править | править код]Предположим, что мы измеряем некоторую величину . Сделав одно измерение, получили её значение с ошибкой : . Запишем плотность вероятности того, что величина примет значение :
.
Теперь предположим, что мы провели несколько таких измерений и получили . Плотность вероятности того, что величина примет значения , будет:
.
Эта функция называется функцией правдоподобия. Наиболее вероятное значение измеряемой величины определяется по максимуму функции правдоподобия. Более удобной является логарифмическая функция правдоподобия:
.
Продифференцируем логарифмическую функцию правдоподобия по :
.
Приравняем к и получим некоторое значение :
.
Крамер сформулировал следующую теорему:
Теорема: Не существует другого метода обработки результатов эксперимента, который дал бы лучшее приближение к истине, чем метод максимального правдоподобия.
Ошибки измерений
[править | править код]Предположим, что мы провели серию измерений и получили серию значений , естественно записать, что это распределение будет иметь гауссовский вид:
.
Запишем логарифмическую функцию правдоподобия:.
Возьмем первую производную:
.
Если , то . Теперь возьмем вторую производную:
, откуда
.
Это называется первой магической формулой[2].
Условный метод максимального правдоподобия
[править | править код]Условный метод максимального правдоподобия (Conditional ML) используется в регрессионных моделях. Суть метода заключается в том, что используется не полное совместное распределение всех переменных (зависимой и регрессоров), а только условное распределение зависимой переменной по факторам, то есть фактически распределение случайных ошибок регрессионной модели. Полная функция правдоподобия есть произведение «условной функции правдоподобия» и плотности распределения факторов. Условный ММП эквивалентен полному варианту ММП в том случае, когда распределение факторов никак не зависит от оцениваемых параметров. Это условие часто нарушается в моделях временных рядов, например в авторегрессионной модели. В данном случае, регрессорами являются прошлые значения зависимой переменной, а значит их значения также подчиняются той же AR-модели, то есть распределение регрессоров зависит от оцениваемых параметров. В таких случаях результаты применения условного и полного метода максимального правдоподобия будут различаться.
См. также
[править | править код]- Правдоподобие принятой последовательности
- Метод моментов
- Обобщенный метод моментов
- Метод наименьших квадратов
- Метод инструментальных переменных
- EM-алгоритм
Примечания
[править | править код]- ↑ Фишер — 1912 г. Математический энциклопедический словарь, М.: Советская энциклопедия, 1988.
- ↑ 1 2 А.П. Онучин. Экспериментальные методы ядерной физики. — Новосибирск: Новосибирский государственный технический университет, 2010. — С. 297—303. — 336 с. — ISBN 978-5-7782-1232-9.
Литература
[править | править код]- Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. Начальный курс. — М.: Дело, 2007. — 504 с. — ISBN 978-5-7749-0473-0.
- Остапенко Р. И. Основы структурного моделирования в психологии и педагогике: учебно-методическое пособие для студентов психолого-педагогического факультета. — Воронеж.: ВГПУ, 2012. — 116 с. — ISBN 978-5-88519-886-8.
- Никулин М. С. Отношения правдоподобия критерий // Математическая энциклопедия / Виноградов И. М. (гл. ред.). — М.: Советская энциклопедия, 1984. — Т. 4. — С. 151. — 1216 с.
Для улучшения этой статьи желательно:
|