Авторегрессионная модель

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Авторегрессионная (AR-) модель (англ. Autoregressive model) — модель временных рядов, в которой значения временного ряда в данный момент линейно зависят от предыдущих значений этого же ряда. Авторегрессионный процесс порядка p (AR(p)-процесс)- определяется следующим образом

 X_t = c + \sum_{i=1}^p a_i X_{t-i}+ \varepsilon_t ,

где a_1, \ldots, a_p — параметры модели (коэффициенты авторегрессии), c -постоянная (часто для упрощения предполагается равной нулю), а \varepsilon_t — белый шум.

Простейшим примером является авторегрессионный процесс первого порядка -AR(1)-процесс:

 X_t = c +  r X_{t-1}+ \varepsilon_t

Для данного процесса коэффициент авторегрессии совпадает с коэффициентом автокорреляции первого порядка.

Другой простой процесс — процесс Юла — AR(2)-процесс:

 X_t = c +  a_1 X_{t-1}+ a_2 X_{t-2}+\varepsilon_t

Операторное представление[править | править вики-текст]

Если ввести лаговый оператор L: Lx_t=x_{t-1}, то авторегрессионную модель можно представить следующим образом

 X_t = c + \sum_{i=1}^p a_i L^i X_{t}+ \varepsilon_t ,

или

a(L)X_t=(1- \sum_{i=1}^p a_i L^i )X_{t}= c +  \varepsilon_t

Стационарность авторегресссионного процесса зависит от корней характеристического полинома a(z)=1-\sum_{i=1}^n a_i z^i. Для того, чтобы процесс был стационарным, достаточно, чтобы все корни характеристичекого полинома лежали вне единичного круга в комплексной плоскости |z|>1

В частности, для AR(1)-процесса a(z)=1-r z, следовательно корень этого «полинома» z=1/r, поэтому условие стационарности |r|<1, то есть коэффициент авторегрессии (он же в данном случае коэффициент автокорреляции) должен быть строго меньше 1 по модулю.

Для AR(2)-процесса можно показать, что условия стационарности имеют вид:  |a_2| < 1, a_2\pm a_1<1.

Стационарные AR-процессы допускают разложение Вольда — представление в виде бесконечного MA-процесса:

X_t=a^{-1}(L)c+ a^{-1}(L)\varepsilon_t=\frac {c} {1-\sum_{i=1}^p a_i}+\sum_{j=0}^{\infty} b_j \varepsilon_{t-j}

Первое слагаемое представляет собой математическое ожидание AR-процесса. Если c=0, то математическое ожидание процесса также равно нулю.

Автокорреляционная функция[править | править вики-текст]

Можно показать, что автоковариационная и автокорреляционная функции AR(p)-процесса удовлетворяют рекуррентным соотношениям:

\gamma (k)=\sum_{j=1}^p a_j \gamma (k-j)~~~~~r(k)=\sum_{j=1}^p a_j r(k-j)

При этом дисперсия процесса равна \gamma(0)=\sigma_{\varepsilon}^2/(1-\sum_{i=1}^p a_i^2)[источник не указан 311 дней]

Автокорреляционная функция экспоненциально затухает с возможной осцилляцией (осцилляции зависят от наличия комплексных корней у характеристического полинома). При этом частная автокорреляционная функция при k>p равна нулю. Это свойство используется для идентификации порядка AR-модели по выборочной частной автокорреляционной функции временного ряда.

В простейшем случае AR(1)-процесса, математическое ожидание равно \mu=c/(1-a), дисперсия \gamma(0)=\sigma_{\varepsilon}^2/(1-a^2), а автокорреляции r(k)=r \cdot r(k-1) ~ \Rightarrow ~r(k)=r^k

То есть автокорреляционная функция — экспоненциально затухающая функция, если выполнено условие стационарности. Частная автокорреляционная функция первого порядка равна r, а для более высоких порядков равна 0.

Оценка параметров модели[править | править вики-текст]

Учитывая четность автокорреляционной функции и используя рекуррентное соотношение для первых p автокорреляций получаем систему уравнений Юла-Уокера

1 \leqslant k \leqslant p~, ~ \sum_{j=1}^p a_j r(|k-j|)=r(k)

или в матричной форме

Ra=r~, ~\Rightarrow a=R^{-1}r~,~~R=

\begin{pmatrix}
1&r_1& r_2& ...& r_{p-1}\\
r_1&1& r_2& ...& r_{p-2}\\
r_2& r_3&1& ...& r_{p-3}\\
...\\
r_{p-1}& r_{p-2}&r_{p-3}& ...& 1\\
\end{pmatrix}

Если использовать вместо истинных автокорреляций (неизвестных) выборочные автокорреляции, получим оценки неизвестных коэффициентов авторегрессии. Можно показать, что этот метод оценки эквивалентен обычному методу наименьших квадратов (МНК). Если случайные ошибки модели имеют нормальное распределение, то данный метод также эквивалентен условному методу максимального правдоподобия. Для получения более точных оценок в последнем случае можно использовать полный метод максимального правдоподобия, в котором используется информация о распределении первых членов ряда. Например, в случае AR(1)-процесса распределение первого члена принимается равным безусловному распределению временного ряда (нормальное распределение с математическим ожиданием и безусловной дисперсией ряда).

Сезонные модели авторегрессии[править | править вики-текст]

С помощью AR-моделей можно моделировать сезонность. Такие модели обозначают SAR (Seasonal AR). Например, при наличии квартальных данных и предположении о квартальной сезонности можно построить следующую модель SAR(4):

y_t=a_4 y_{t-4}+\varepsilon_t

Фактически это обычная AR-модель с ограничением на параметры модели (равенство нулю параметров при лагах менее 4). На практике сезонность может сочетаться с обычной авторегрессией, например:

y_t=a_1 y_{t-1}+a_4 y_{t-4}+\varepsilon_t

В некоторых случаях оказываются полезными сезонные модели, у которых случайная ошибка, подчиняется некоторому AR-процессу:

y_t=a_4 y_{t-4}+\varepsilon_t~,~\varepsilon_t=a_1 \varepsilon_{t-1}+u_t

Нетрудно увидеть, что такую модель в операторной форме можно записать как:

(1-a_1 L)(1-a_4 L^4)y_t=u_t

Такую модель обозначают AR(1) \times SAR(4).

См. также[править | править вики-текст]