Метод моментов

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Ме́тод моме́нтов — метод оценки неизвестных параметров распределений в математической статистике и эконометрике, основанный на предполагаемых свойствах моментов(Пирсон, 1894 г.). Идея метода заключается в замене истинных соотношений выборочными аналогами.

Сущность метода[править | править вики-текст]

Пусть случайная величина (вектор, матрица и т. д.) X имеет некоторое распределение \mathbb{P}_{\theta}, зависящее от параметров \theta \in \Theta \subset \mathbb{R}^k. Пусть для функций (называемых моментами или моментными функциями) g_i:\mathbb{R}^m \to \mathbb{R}, интегрируемых по мере \mathbb{P}_{\theta}, выполнены условия на моменты

\mathbb{E}\left[g_i(X,\theta)\right] = 0~,~~i=1..k

Пусть X_1,\ldots,X_n — выборка случайной величины X. Предполагается, что соотношения аналогичные условиям на моменты выполнены и для выборки, а именно вместо математического ожидания в условиях на моменты необходимо использовать выборочные средние:

\overline {g_i(X,\theta)} = 0~,~~i=1..k

причем в данном представлении (когда справа от равенства — ноль) достаточно использовать просто суммы вместо средних.

Оценки, получаемые из решения этой системы уравнений (выборочных условий на моменты), называются оценками метода моментов. Название метода связано с тем, что чаще всего в качестве функций g_i выступают функции степенного вида, математические ожидания от которых в теории вероятностей и математической статистике принято называть моментами.

Если моментные функции непрерывны, то оценки метода моментов состоятельны.

Частные случаи[править | править вики-текст]

Некоторые классические методы оценки регрессионных моделей можно представить как частные случаи метода моментов. Например, если линейная регрессионная модель y_t=x_t^Tb+\varepsilon_t удовлетворяет условию E(x^T_t \varepsilon_t)=0, то условия на моменты выглядят следующим образом:

X^Te=0~\Rightarrow~X^T(y-Xb)=0~\Rightarrow ~X^TXb=X^Ty

Следовательно, в этом случае оценка метода моментов будет совпадать с оценкой метода наименьших квадратов  \hat{b}_{MM}=\hat{b}_{OLS}=(X^TX)^{-1}X^Ty

Таким образом, МНК является частным случаем метода моментов, когда выполняется условие ортогональности регрессоров и случайных ошибок E(x^T_t \varepsilon_t)=0

Рассмотрим другой случай, когда имеются некоторые переменные z, ортогональные случайным ошибкам линейной регрессионной модели, то есть E(z^T_t \varepsilon_t)=0. Тогда имеем выборочный аналог этого условия:

Z^Te=0~\Rightarrow Z^T(y-Xb)=0~\Rightarrow ~Z^TXb=Z^Ty

Следовательно оценка метода моментов будет совпадать с оценкой метода инструментальных переменных: \hat{b}_{MM}=\hat{b}_{IV}=(Z^TX)^{-1}Z^Ty.

Таким образом, метод инструментальных переменных является частным случаем метода моментов, когда выполнено условие ортогональности инструментов и случайных ошибок модели.

Обобщенный метод моментов[править | править вики-текст]

Метод моментов может быть обобщен на случай когда количество условий на моменты превышает количество параметров, которые необходимо оценить. В этом случае, очевидно однозначного решения задача не имеет (в общем случае). В таком случае решается задача на минимизацию некоторого функционала, характеризующего интегральную степень соблюдения условий на моменты.

Пусть E(g(x,b))=0 — совокупность условий на моменты, число которых больше числа неизвестных параметров. Обобщенным методом моментов (ОММ, GMM — Generalized Method of Moments) называется оценка минимизирующая положительно определенную квадратичную форму от выборочных условий на моменты:

\hat {b}_{GMM}=\arg \min_{b} \overline {g(x,b)}^TW\overline {g(x,b)}

где W — некоторая симметрическая положительно определенная матрица.

Весовая матрица теоретически может быть произвольной (с учетом ограничения положительной определенности), однако, доказано, что наиболее эффективными являются GMM-оценки с весовой матрицей, равной обратной ковариацинной матрице моментных функций W=V^{-1}_g. Это так называемый эффективный GMM. Однако, поскольку на практике эта ковариационная матрица неизвестна, то применяют следующую процедуру. На первом шаге оцениваются параметры модели с помощью GMM с единичной весовой матрицей. Затем по выборочным данным и найденным значениям параметров оценивают ковариационную матрицу моментных функций и используют полученную оценку в эффективном GMM (это т. н. доступный эффективный GMM).

Пример[править | править вики-текст]

Пусть X_1,\ldots,X_n \sim \Gamma(\alpha,\beta) — выборка из гамма распределения с неизвестными параметрами \alpha и \beta. Тогда

\mathbb{E}[X_i] = \alpha \beta,\; \mathbb{E}\left[X_i^2\right]=\alpha(\alpha+1)\beta^2,\quad i=1,\ldots,n.

Тогда оценки метода моментов удовлетворяют системе уравнений:


\begin{matrix}
\bar{X} = & \hat{\alpha}_{\mathrm{MM}} \hat{\beta}_{\mathrm{MM}}\\
\overline{X^2} = & \hat{\alpha}_{\mathrm{MM}} ( \hat{\alpha}_{\mathrm{MM}} + 1 ) \left( \hat{\beta}_{\mathrm{MM}} \right)^2
\end{matrix}
~~
\Rightarrow~~ \hat{\alpha}_{\mathrm{MM}} = \frac{\left(\bar{X}\right)^2}{\overline{X^2} - \left(\bar{X}\right)^2}~,~~\hat{\beta}_{\mathrm{MM}} = \frac{\overline{X^2} - \left(\bar{X}\right)^2}{\bar{X}}.

Преимущества и недостатки метода[править | править вики-текст]

В известной мере, при оценке параметров из известного семейства вероятностных распределений, этот метод упраздняется Фишеровским методом максимального правдоподобия, так как максимально правдоподобная оценка имеет большую вероятность оказаться ближе к истинному значению оцениваемой величины.

Тем не менее, в некоторых случаях, например, как выше в случае Гамма-распределения, использование метода максимального правдоподобия требует использования компьютеров в то время, как метод моментов может быть быстро и легко реализован вручную.

Оценки, полученные методом моментов, могут быть использованы как первое приближение для метода максимума правдоподобия. Дальнейшее улучшение оценок может быть получено с использованием метода Ньютона-Рафсона.

В некоторых случаях, редких при больших объемах данных и более частых при малом их количестве, оценки, даваемые методом моментов могут оказаться вне допустимой области. Такая проблема никогда не возникает в методе максимального правдоподобия. Также, оценки по методу моментов не обязательно оказываются достаточной статистикой, то есть, они иногда извлекают из данных не всю имеющуюся в них информацию.

См. также[править | править вики-текст]