Центральная предельная теорема

Центра́льные преде́льные теоре́мы (Ц. П. Т.) — класс теорем в теории вероятностей, утверждающих, что сумма достаточно большого количества слабо зависимых случайных величин, имеющих примерно одинаковые масштабы (ни одно из слагаемых не доминирует, не вносит в сумму определяющего вклада), имеет распределение, близкое к нормальному.

Так как многие случайные величины в приложениях формируются под влиянием нескольких слабо зависимых случайных факторов, их распределение считают нормальным. При этом должно соблюдаться условие, что ни один из факторов не является доминирующим. Центральные предельные теоремы в этих случаях обосновывают применение нормального распределения.

Классическая Ц. П. Т

Пусть $X_1,\ldots, X_n,\ldots$ есть бесконечная последовательность независимых одинаково распределённых случайных величин, имеющих конечное математическое ожидание и дисперсию. Обозначим последние $\mu$ и $\sigma^2$, соответственно. Пусть также

$S_n = \sum\limits_{i=1}^n X_i$.

Тогда

$\frac{S_n - \mu n}{\sigma \sqrt n} \to N(0,1)$ по распределению при $n \to \infty$,

где $N(0,1)$ — нормальное распределение с нулевым математическим ожиданием и стандартным отклонением, равным единице. Обозначив символом $\bar{X}$ выборочное среднее первых $n$ величин, то есть $\bar{X} = \frac{1}{n} \sum\limits_{i=1}^n X_i$, мы можем переписать результат центральной предельной теоремы в следующем виде:

$\sqrt{n} \frac{ \bar{X} - \mu}{\sigma} \to N(0,1)$ по распределению при $n \to \infty$.

Скорость сходимости можно оценить с помощью неравенства Берри — Эссеена.

Замечания

• Неформально говоря, классическая центральная предельная теорема утверждает, что сумма $n$ независимых одинаково распределённых случайных величин имеет распределение, близкое к $N(n\mu, n\sigma^2 )$. Эквивалентно, $\bar{X}$ имеет распределение близкое к $N(\mu,\sigma^2/n)$.
• Так как функция распределения стандартного нормального распределения непрерывна, сходимость к этому распределению эквивалентна поточечной сходимости функций распределения к функции распределения стандартного нормального распределения. Положив $Z_n = \frac{S_n - \mu n}{\sigma \sqrt{n}}$, получаем $F_{Z_n}(x) \to \Phi(x),\; \forall x \in \mathbb{R}$, где $\Phi(x)$ — функция распределения стандартного нормального распределения.
• Центральная предельная теорема в классической формулировке доказывается методом характеристических функций (теорема Леви о непрерывности).
• Вообще говоря, из сходимости функций распределения не вытекает сходимость плотностей. Тем не менее в данном классическом случае это имеет место.

Локальная Ц. П. Т

В предположениях классической формулировки, допустим в дополнение, что распределение случайных величин $\{X_i\}_{i=1}^{\infty}$ абсолютно непрерывно, то есть оно имеет плотность. Тогда распределение $Z_n$ также абсолютно непрерывно, и более того,

$f_{Z_n}(x) \to \frac{1}{\sqrt{2\pi}}\, e^{-\frac{x^2}{2}}$ при $n \to \infty$,

где $f_{Z_n}(x)$ — плотность случайной величины $Z_n$, а в правой части стоит плотность стандартного нормального распределения.

Обобщения

Результат классической центральной предельной теоремы справедлив для ситуаций гораздо более общих, чем полная независимость и одинаковая распределённость.

Ц. П. Т. Линдеберга

Пусть независимые случайные величины $X_1,\ldots ,X_n, \ldots$ определены на одном и том же вероятностном пространстве и имеют конечные математические ожидания и дисперсии: $\mathbb{E}[X_i] = \mu_i,\; \mathrm{D}[X_i] = \sigma^2_i$.

Пусть $S_n = \sum\limits_{i=1}^n X_i$.

Тогда $\mathbb{E}[S_n] = m_n = \sum\limits_{i=1}^n \mu_i,\; \mathrm{D}[S_n] = s_n^2 = \sum\limits_{i=1}^n \sigma_i^2$.

И пусть выполняется условие Линдеберга:

$\forall \varepsilon>0,\; \lim\limits_{n\to \infty}\sum\limits_{i=1}^n \mathbb{E}\left[\frac{(X_i-\mu_i)^2}{s_n^2}\, \mathbf{1}_{\{|X_i-\mu_i|> \varepsilon s_n \}}\right] = 0,$

где $\mathbf{1}_{\{|X_i-\mu_i|> \varepsilon s_n \}}$ функция - индикатор.

Тогда

$\frac{S_n-m_n}{s_n} \to N(0,1)$ по распределению при $n \to \infty$.

Ц. П. Т. Ляпунова

Пусть выполнены базовые предположения Ц. П. Т. Линдеберга. Пусть случайные величины $\{X_i\}$ имеют конечный третий момент. Тогда определена последовательность

$r^3_n = \sum_{i=1}^n \mathbb{E}\left[|X_i-\mu_i|^3\right]$.

Если предел

$\lim\limits_{n\to \infty} \frac{r_n}{s_n} = 0$ (условие Ляпунова),

то

$\frac{S_n-m_n}{s_n} \to N(0,1)$ по распределению при $n \to \infty$.

Ц. П. Т. для мартингалов

Пусть процесс $(X_n)_{n\in \mathbb{N}}$ является мартингалом с ограниченными приращениями. В частности, допустим, что

$\mathbb{E}\left[X_{n+1}-X_n \mid X_1,\ldots,X_n \right] = 0,\; n \in \mathbb{N},\; X_0 \equiv 0,$

и приращения равномерно ограничены, то есть

$\exists C>0\, \forall n \in \mathbb{N}\; |X_{n+1}-X_n| \le C$ п.н.

Введём случайные процессы $\sigma^2_n$ и $\tau_n$ следующим образом:

$\sigma_n^2 = \mathbb{E} \left[(X_{n+1}-X_n)^2 \mid X_1 ,\ldots, X_n\right]$

и

$\tau_n = \min\left\{k \left\vert\; \sum_{i=1}^k \sigma^2_i \ge n \right. \right\}$.

Тогда

$\frac{X_{\tau_n}}{\sqrt{n}} \to N(0,1)$ по распределению при $n \to \infty$.

См. также

• Закон больших чисел
• Закон повторного логарифма

Ссылки

• Предельные теоремы теории вероятностей. Примеры использования