Авторегрессионная модель

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Авторегрессионная (AR-) модель (англ. autoregressive model) — модель временных рядов, в которой значения временного ряда в данный момент линейно зависят от предыдущих значений этого же ряда. Авторегрессионный процесс порядка p (AR(p)-процесс) определяется следующим образом

 X_t = c + \sum_{i=1}^p a_i X_{t-i}+ \varepsilon_t ,

где a_1, \ldots, a_p — параметры модели (коэффициенты авторегрессии), c — постоянная (часто для упрощения предполагается равной нулю), а \varepsilon_t — белый шум.

Простейшим примером является авторегрессионный процесс первого порядка AR(1)-процесс:

 X_t = c +  r X_{t-1}+ \varepsilon_t

Для данного процесса коэффициент авторегрессии совпадает с коэффициентом автокорреляции первого порядка.

Другой простой процесс — процесс Юла — AR(2)-процесс:

 X_t = c +  a_1 X_{t-1}+ a_2 X_{t-2}+\varepsilon_t

Операторное представление[править | править вики-текст]

Если ввести лаговый оператор L: Lx_t=x_{t-1}, то авторегрессионную модель можно представить следующим образом

 X_t = c + \sum_{i=1}^p a_i L^i X_{t}+ \varepsilon_t ,

или

a(L)X_t=(1- \sum_{i=1}^p a_i L^i )X_{t}= c +  \varepsilon_t

Стационарность авторегрессионного процесса зависит от корней характеристического полинома a(z)=1-\sum_{i=1}^n a_i z^i. Для того чтобы процесс был стационарным[1], достаточно, чтобы все корни характеристичекого полинома лежали вне единичного круга в комплексной плоскости |z|>1.

В частности, для AR(1)-процесса a(z)=1-r z, следовательно корень этого «полинома» z=1/r, поэтому условие стационарности можно записать в виде |r|<1, то есть коэффициент авторегрессии (он же в данном случае коэффициент автокорреляции) должен быть строго меньше 1 по модулю.

Для AR(2)-процесса можно показать, что условия стационарности имеют вид:  |a_2| < 1, a_2\pm a_1<1.

Стационарные AR-процессы допускают разложение Вольда — представление в виде бесконечного MA-процесса:

X_t=a^{-1}(L)c+ a^{-1}(L)\varepsilon_t=\frac {c} {1-\sum_{i=1}^p a_i}+\sum_{j=0}^{\infty} b_j \varepsilon_{t-j}

Первое слагаемое представляет собой математическое ожидание AR-процесса. Если c=0, то математическое ожидание процесса также равно нулю.

Автокорреляционная функция[править | править вики-текст]

Можно показать, что автоковариационная и автокорреляционная функции AR(p)-процесса удовлетворяют рекуррентным соотношениям:

\gamma (k)=\sum_{j=1}^p a_j \gamma (k-j)~~~~~r(k)=\sum_{j=1}^p a_j r(k-j)

При этом дисперсия процесса равна \gamma(0)=\frac{\sigma_{\varepsilon}^2+\sum_{j=1}^p\sum_{i=1}^p(1-\delta_{ij})a_ia_j\gamma(j-i)}{1-\sum_{i=1}^p a_i^2}

Автокорреляционная функция экспоненциально затухает с возможной осцилляцией (осцилляции зависят от наличия комплексных корней у характеристического полинома). При этом частная автокорреляционная функция при k>p равна нулю. Это свойство используется для идентификации порядка AR-модели по выборочной частной автокорреляционной функции временного ряда.

В простейшем случае AR(1)-процесса, математическое ожидание равно \mu=c/(1-a), дисперсия \gamma(0)=\sigma_{\varepsilon}^2/(1-a^2), а автокорреляции r(k)=r \cdot r(k-1) ~ \Rightarrow ~r(k)=r^k

То есть автокорреляционная функция — экспоненциально затухающая функция, если выполнено условие стационарности. Частная автокорреляционная функция первого порядка равна r, а для более высоких порядков равна 0.

Оценка параметров модели[править | править вики-текст]

Учитывая чётность автокорреляционной функции и используя рекуррентное соотношение для первых p автокорреляций, получаем систему уравнений Юла — Уокера[2]

1 \leqslant k \leqslant p~, ~ \sum_{j=1}^p a_j r(|k-j|)=r(k)

или в матричной форме

Ra=r~, ~\Rightarrow a=R^{-1}r~,~~R=

\begin{pmatrix}
1&r_1& r_2& ...& r_{p-1}\\
r_1&1& r_1& ...& r_{p-2}\\
r_2& r_1&1& ...& r_{p-3}\\
...\\
r_{p-1}& r_{p-2}&r_{p-3}& ...& 1\\
\end{pmatrix}

Если использовать вместо истинных автокорреляций (неизвестных) выборочные автокорреляции, получим оценки неизвестных коэффициентов авторегрессии. Можно показать, что этот метод оценки эквивалентен обычному методу наименьших квадратов (МНК). Если случайные ошибки модели имеют нормальное распределение, то данный метод также эквивалентен условному методу максимального правдоподобия. Для получения более точных оценок в последнем случае можно использовать полный метод максимального правдоподобия, в котором используется информация о распределении первых членов ряда. Например, в случае AR(1)-процесса распределение первого члена принимается равным безусловному распределению временного ряда (нормальное распределение с математическим ожиданием и безусловной дисперсией ряда).

Сезонные модели авторегрессии[править | править вики-текст]

С помощью AR-моделей можно моделировать сезонность. Такие модели обозначают SAR (Seasonal AR). Например, при наличии квартальных данных и предположении о квартальной сезонности можно построить следующую модель SAR(4):

y_t=a_4 y_{t-4}+\varepsilon_t

Фактически это обычная AR-модель с ограничением на параметры модели (равенство нулю параметров при лагах менее 4). На практике сезонность может сочетаться с обычной авторегрессией, например:

y_t=a_1 y_{t-1}+a_4 y_{t-4}+\varepsilon_t

В некоторых случаях оказываются полезными сезонные модели, у которых случайная ошибка, подчиняется некоторому AR-процессу:

y_t=a_4 y_{t-4}+\varepsilon_t~,~\varepsilon_t=a_1 \varepsilon_{t-1}+u_t

Нетрудно увидеть, что такую модель в операторной форме можно записать как:

(1-a_1 L)(1-a_4 L^4)y_t=u_t

Такую модель обозначают AR(1) \times SAR(4).

Вывод формул основных моментов авторегрессии[править | править вики-текст]

Строго говоря, авторегрессионный процесс является не стационарным, а асимптотически или "квази" стационарным случайным процессом. Иными словами величины X_1, X_2, X_3, и т. д. не имеют одинакового распределения, однако, с ростом параметра t распределение X_t стремится к некоторому предельному распределению. Рассмотрим величину X, распределенную по этому предельному распределению. Предположим, что с некоторого момента T для любого t>T все числа X_t распределены по этом предельному распределению.

Но тогда M[X_t]=M[X], D[X_t]=D[X], т.е. все величины X_t обладают одинаковыми матожиданием и дисперсией.

Тогда можно записать

M[X_t]=M[a_1X_{t-1}+a_2X_{t-2}+...+a_pX_{t-p}+\varepsilon_t]

Из свойств линейности матожидания можно записать

M[X_t]=a_1M[X_{t-1}]+a_2M[X_{t-2}]+...+a_pM[X_{t-p}]+M[\varepsilon_t]

Поскольку все матожидания X_t равны, запишем

M[X]=a_1M[X]+a_2M[X]+...+a_pM[X]+c=(a_1+a_2+...+a_p)M[X]+c

, откуда M[X]=\frac {c} {1-\sum_{i=1}^p a_i}, где c - матожидание шума.

Вычислить дисперсию несколько сложнее.

Во-первых, нужно будет воспользоваться формулой дисперсии суммы двух случайных величин: D[X+Y]=D[X]+D[Y]+2cov(X,Y), где cov(X,Y)=M[XY]-M[X]M[Y] - ковариация двух случайных величин.

Во-вторых, нужно будет использовать линейные и коммутативные свойства ковариации:

cov(X,Y)=cov(Y,X)

cov(aX,Y)=acov(X,Y), где a - какая-то константа относительно X.

cov(X,Y+Z)=cov(X,Y)+cov(X,Z)

В-третьих, ковариация случайной величины с самой собой равна дисперсии этой случайной величины:

cov(X,X)=D[X]

В-четвертых, учтем, что D[aX]=a^2D[X], где a - какая-то константа относительно X.

В-пятых, для стационарного процесса X_t ковариация cov(X_{t-k},X_t) не зависит от параметра t, а зависит только от разности индексов t-(t-k) = k. Назовем автоковариационной функцией (АКФ) величину \gamma(k)=cov(X_{t-k},X_t). Выше было доказано, что эта функция четная.

В-шестых, нужно учесть, что шум - белый, а это значит, что он не зависит ни от одного предыдущего значения X_t. Математически это означает, что для любого k>0 верно cov(X_{t-k},\varepsilon_t)=0. При этом

cov(X_t,\varepsilon_t)=cov(a_1X_{t-1}+a_2X_{t-2}+...+a_pX_{t-p}+\varepsilon_t,\varepsilon_t)=cov(\varepsilon_t,\varepsilon_t)=D[\varepsilon_t]=\sigma_{\varepsilon}^2, где \sigma_{\varepsilon}^2 - дисперсия шума.

Наконец, в-седьмых, можно записать:

D[X_t]=D[\varepsilon_t+\sum_{i=1}^p a_iX_{t-i}]=D[\varepsilon_t]+D[\sum_{i=1}^p a_iX_{t-i}]=\sigma_{\varepsilon}^2+\sum_{i=1}^p a_i^2D[X_{t-i}]+\sum_{j=1}^p\sum_{i=1}^p(1-\delta_{ij})a_ia_jcov(X_{t-i},X_{t-j}), где \delta_{ij} - символ Кронекера. Упрощая, получим

D[X_t]=\sigma_{\varepsilon}^2+D[X]\sum_{i=1}^p a_i^2+\sum_{j=1}^p\sum_{i=1}^p(1-\delta_{ij})a_ia_j\gamma(j-i),

откуда D[X]=\frac{\sigma_{\varepsilon}^2+\sum_{j=1}^p\sum_{i=1}^p(1-\delta_{ij})a_ia_j\gamma(j-i)}{1-\sum_{i=1}^p a_i^2}.

На практике гораздо проще пользоваться формулой D[X]=\gamma(0)=\sigma_{\varepsilon}^2+\sum_{k=1}^pa_k\gamma(k)[2]. Вывести ее очень просто - для этого необходимо найти ковариацию cov(X_t,X_t):

D[X]=\gamma(0)=cov(X_t,X_t)=cov(X_t,\varepsilon_t+\sum_{i=1}^pa_iX_{t-i})=cov(X_t,\varepsilon_t)+\sum_{i=1}^pa_icov(X_{t-i},X_t)=\sigma_{\varepsilon}^2+\sum_{k=1}^pa_k\gamma(k)

Как видно, обе формулы выражают дисперсию авторегрессии через ее АКФ и коэффициенты, однако вторая формула гораздо проще. Тем не менее интересно было бы выразить дисперсию авторегрессии только через ее коэффициенты. Для этого необходимо научиться решать систему Юла-Уокера произвольного порядка относительно неизвестных АКФ. В общем случе (для произвольного порядка) сделать это довольно затруднительно. Однако никто не мешает сделать это для какого-нибудь частного случая, например, для процесса Юла-Уокера (AR[p=2]):

 \left\{ \begin{matrix} \gamma(0)=a_1\gamma(1)+a_2\gamma(2)+\sigma_{\varepsilon}^2 \\  \gamma(1)=a_1\gamma(0)+a_2\gamma(1)  \\ \gamma(2)=a_1\gamma(1)+a_2\gamma(0) \end{matrix} \right.

Получилась система уравнений из трех уравнений и с тремя неизвестными  \gamma(0) ,  \gamma(1) ,  \gamma(2) . Решив эту систему относительно  \gamma(0) ,  \gamma(1) ,  \gamma(2) , можно получить:

D[X]=\gamma(0)=\frac{\sigma_{\varepsilon}^2(1-a_2)}{(1+a_2)(1-a_1-a_2)(1-a_2+a_1)}

\gamma(1)=\frac{\sigma_{\varepsilon}^2a_1}{(1+a_2)(1-a_1-a_2)(1-a_2+a_1)}

\gamma(2)=\frac{\sigma_{\varepsilon}^2(a_1^2-a_2^2+a_2)}{(1+a_2)(1-a_1-a_2)(1-a_2+a_1)}

См. также[править | править вики-текст]

Примечания[править | править вики-текст]