Метод моментов

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Ме́тод моме́нтов — метод оценки неизвестных параметров распределений в математической статистике и эконометрике, основанный на предполагаемых свойствах моментов (Пирсон, 1894 г.). Идея метода заключается в замене истинных соотношений выборочными аналогами.

Суть метода[править | править вики-текст]

Пусть случайная величина (вектор, матрица и т. д.) X имеет некоторое распределение , зависящее от параметров . Пусть для функций (называемых моментами или моментными функциями) , интегрируемых по мере , выполнены условия на моменты

Пусть  — выборка случайной величины X. Предполагается, что соотношения аналогичные условиям на моменты выполнены и для выборки, а именно вместо математического ожидания в условиях на моменты необходимо использовать выборочные средние:

причем в данном представлении (когда справа от равенства — ноль) достаточно использовать просто суммы вместо средних.

Оценки, получаемые из решения этой системы уравнений (выборочных условий на моменты), называются оценками метода моментов. Название метода связано с тем, что чаще всего в качестве функций выступают функции степенного вида, математические ожидания от которых в теории вероятностей и математической статистике принято называть моментами.

Если моментные функции непрерывны, то оценки метода моментов состоятельны.

Частные случаи[править | править вики-текст]

Некоторые классические методы оценки регрессионных моделей можно представить как частные случаи метода моментов. Например, если линейная регрессионная модель удовлетворяет условию , то условия на моменты выглядят следующим образом:

Следовательно, в этом случае оценка метода моментов будет совпадать с оценкой метода наименьших квадратов

Таким образом, МНК является частным случаем метода моментов, когда выполняется условие ортогональности регрессоров и случайных ошибок

Рассмотрим другой случай, когда имеются некоторые переменные z, ортогональные случайным ошибкам линейной регрессионной модели, то есть . Тогда имеем выборочный аналог этого условия:

Следовательно оценка метода моментов будет совпадать с оценкой метода инструментальных переменных: .

Таким образом, метод инструментальных переменных является частным случаем метода моментов, когда выполнено условие ортогональности инструментов и случайных ошибок модели.

Обобщенный метод моментов[править | править вики-текст]

Метод моментов может быть обобщен на случай, когда количество условий на моменты превышает количество параметров, которые необходимо оценить. В этом случае очевидно однозначного решения задача не имеет (в общем случае). В таком случае решается задача на минимизацию некоторого функционала, характеризующего интегральную степень соблюдения условий на моменты.

Пусть  — совокупность условий на моменты, число которых больше числа неизвестных параметров. Обобщенным методом моментов (ОММ, GMM — Generalized Method of Moments) называется оценка, минимизирующая положительно определенную квадратичную форму от выборочных условий на моменты:

где W — некоторая симметрическая положительно определенная матрица.

Весовая матрица теоретически может быть произвольной (с учетом ограничения положительной определенности), однако доказано, что наиболее эффективными являются GMM-оценки с весовой матрицей, равной обратной ковариационной матрице  моментных функций . Это так называемый эффективный GMM. Однако, поскольку на практике эта ковариационная матрица неизвестна, то применяют следующую процедуру. На первом шаге оцениваются параметры модели с помощью GMM с единичной весовой матрицей. Затем по выборочным данным и найденным значениям параметров оценивают ковариационную матрицу моментных функций и используют полученную оценку в эффективном GMM (это т. н. доступный эффективный GMM).

Пример[править | править вики-текст]

Пусть  — выборка из гамма-распределения с неизвестными параметрами и . Тогда

.

Тогда оценки метода моментов удовлетворяют системе уравнений:

.

Преимущества и недостатки метода[править | править вики-текст]

В известной мере, при оценке параметров из известного семейства вероятностных распределений, этот метод упраздняется Фишеровским методом максимального правдоподобия, так как максимально правдоподобная оценка имеет большую вероятность оказаться ближе к истинному значению оцениваемой величины.

Тем не менее, в некоторых случаях, например, как выше в случае гамма-распределения, использование метода максимального правдоподобия требует использования компьютеров, в то время как метод моментов может быть быстро и легко реализован вручную.

Оценки, полученные методом моментов, могут быть использованы как первое приближение для метода максимума правдоподобия. Дальнейшее улучшение оценок может быть получено с использованием метода Ньютона-Рафсона.

В некоторых случаях, редких при больших объемах данных и более частых при малом их количестве, оценки, даваемые методом моментов могут оказаться вне допустимой области. Такая проблема никогда не возникает в методе максимального правдоподобия. Также, оценки по методу моментов не обязательно оказываются достаточной статистикой, то есть, они иногда извлекают из данных не всю имеющуюся в них информацию.

См. также[править | править вики-текст]