Условное математическое ожидание

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Условное математическое ожидание в теории вероятностей — это среднее значение случайной величины относительно условного распределения.

Определения[править | править исходный текст]

Будем считать, что дано вероятностное пространство (\Omega,\mathcal{F},\mathbb{P}). Пусть X:\Omega \to \mathbb{R} — интегрируемая случайная величина, то есть \mathbb{E}\vert X \vert < \infty. Пусть также \mathcal{G} \subset \mathcal{F} — σ-подалгебра σ-алгебры \mathcal{F}.

УМО относительно σ-алгебры[править | править исходный текст]

Случайная величина \hat{X} называется условным математическим ожиданием X относительно σ-алгебры \mathcal{G}, если

где \mathbf{1}_A — индикатор события A. Условное математическое ожидание обозначается \mathbb{E}[X \mid \mathcal{G}].

Пример. Пусть \Omega = \{1,2,3,4\},\, \mathcal{F} = 2^{\Omega},\,\mathbb{P}(\omega) = 1/4,\, \omega = 1,\ldots, 4. Положим \mathcal{G} = \{\varnothing, \{1,2\}, \{3,4\}, \Omega \}. Тогда \mathcal{G} — σ-алгебра, и \mathcal{G} \subset \mathcal{F}. Пусть случайная величина X имеет вид

X(\omega) = \omega^2,\; \omega = 1,\ldots, 4.

Тогда

\mathbb{E}[X \mid \mathcal{G}](\omega) = \left\{
\begin{matrix}
\frac{5}{2}, & \omega = 1,2 \\[5pt]
\frac{25}{2}, & \omega = 3,4.
\end{matrix}
\right.

УМО относительно семейства событий[править | править исходный текст]

Пусть \mathcal{C} = \{C_{\alpha}\} \subset \mathcal{F} — произвольное семейство событий. Тогда условным математическим ожиданием X относительно \mathcal{C} называется

\mathbb{E}[X \mid \mathcal{C}] \equiv \mathbb{E}[X \mid \sigma(\mathcal{C})],

где \sigma(\mathcal{C}) — минимальная сигма-алгебра, содержащая \mathcal{C}.

Пример. Пусть \Omega = \{1,2,3,4\},\, \mathcal{F} = 2^{\Omega},\,\mathbb{P}(\omega) = 1/4,\, \omega = 1,\ldots, 4. Пусть также C = \{1,2,3\}. Тогда \sigma(C) = \{\varnothing, \{1,2,3\},\{4\},\Omega\} \subset \mathcal{F}. Пусть случайная величина X имеет вид

X(\omega) = \omega^2,\; \omega = 1,\ldots, 4.

Тогда

\mathbb{E}[X \mid \mathcal{C}](\omega) = \left\{
\begin{matrix}
\frac{14}{3}, & \omega = 1,2,3 \\[5pt]
16, & \omega = 4.
\end{matrix}
\right.

УМО относительно случайной величины[править | править исходный текст]

Пусть Y:\Omega \to \mathbb{R} другая случайная величина. Тогда условным математическим ожиданием X относительно Y называется

\mathbb{E}[X \mid Y] \equiv \mathbb{E}[X \mid \sigma(Y)],

где \sigma(Y) — σ-алгебра, порождённая случайной величиной Y.

Другое определение УМО X относительно Y:

\mathbb{E}(X \mid Y) = \mathbb{E}(X \mid Y = y) \mid_{y = Y}

Такое определение конструктивно описывает алгоритм нахождения УМО:

  • найти математическое ожидание случайной величины X, принимая Y за константу y;
  • Затем в полученном выражении y обратно заменить на случайную величину Y.

Пример: X \equiv N(a, \sigma^2)

\mathbb{E}\left[ \frac XY \mid Y \right] = \mathbb{E}\left[ \frac Xy \right] \mid_{y = Y} = \frac{1}{y}\mathbb{E}[ X ] \mid_{y = Y} = \frac{a}{y} \mid_{y = Y} = \frac{a}{Y}

Условная вероятность[править | править исходный текст]

Пусть B \in \mathcal{F} — произвольное событие, и \mathbf{1}_B — его индикатор. Тогда условной вероятностью B относительно \mathcal{G} называется

\mathbb{P}(B \mid \mathcal{G}) \equiv \mathbb{E}[\mathbf{1}_B \mid \mathcal{G}].

Замечания[править | править исходный текст]

  • Условное математическое ожидание — это случайная величина, а не число.
  • Условное математическое ожидание определено с точностью до событий вероятности нуль. Таким образом, если \hat{X}_1 = \mathbb{E}[X \mid \mathcal{G}] и \hat{X}_1 = \hat{X}_2 \mathbb{P}-почти всюду, то \hat{X}_2 = \mathbb{E}[X \mid \mathcal{G}]. Отождествив случайные величины, различающиеся лишь на событиях вероятности нуль, получаем единственность условного математического ожидания.
  • Взяв A = \Omega, получаем по определению:
\mathbb{E}[X] = \mathbb{E}[\mathbb{E}[X \mid \mathcal{G}]],

и в частности справедлива формула полной вероятности:

\mathbb{P}(B) = \mathbb{E}[\mathbb{P}(B\mid \mathcal{G})].
\mathbb{E}[X \mid \mathcal{G}] = \sum_{i=1}^{\infty} \mathbb{E}[X \mid C_i] \mathbf{1}_{C_i}.

В частности формула полной вероятности принимает классический вид:

\mathbb{P}(A \mid \mathcal{G}) = \sum\limits_{i=1}^{\infty} \mathbb{P}(A \mid C_i) \mathbf{1}_{C_i},

а следовательно

\mathbb{P}(A) = \sum\limits_{i=1}^{\infty} \mathbb{P}(A \mid C_i)\, \mathbb{P}(C_i).

Основные свойства[править | править исходный текст]

 \hat{X} = h(Y).

Условное математическое ожидание X относительно события \{Y = y\} по определению равно

\mathbb{E}[X \mid Y = y] \equiv h(y).
\mathbb{E}[X \mid \mathcal{G}] = \mathbb{E}[X] п.н.

В частности, если X,Y независимые случайные величины, то

\mathbb{E}[X \mid Y] = \mathbb{E}[X] п.н.
  • Если \mathcal{G}_1,\mathcal{G}_2 — две σ-алгебры, такие что \mathcal{G}_1 \subset \mathcal{G}_2 \subset \mathcal{F}, то
\mathbb{E}[\mathbb{E}[X \mid \mathcal{G}_2]\mid \mathcal{G}_1] = \mathbb{E}[X \mid \mathcal{G}_1].
  • Если X — \mathcal{G}-измерима, и Y — случайная величина, такая что Y,XY \in L^1, то
\mathbb{E}[XY \mid \mathcal{G}] = X \, \mathbb{E}[Y \mid \mathcal{G}].
  • «Математическое ожидание убирает условие». Это правило верно для УМО относительно случайной величины (УМО в таком случае будет случайной величиной) и для условной вероятности относительно случайной величины
\mathbb{E}[ \mathbb{E}(X \mid Y) ] = \mathbb{E}( X ).

Дополнительные свойства[править | править исходный текст]

УМО для дискретных величин[править | править исходный текст]

Пусть Y — дискретная случайная величина, чьё распределение задаётся функцией вероятности \mathbb{P}(Y = y_j) \equiv p_Y(y_j) = p_j > 0,\; j = 1,2,\ldots. Тогда система событий \{Y = y_j\} является разбиением \Omega, и

\mathbb{E}[X \mid Y] = \sum\limits_{j=1}^{\infty} \mathbb{E}[X \mid Y = y_j] \mathbf{1}_{\{Y = y_j\}},

а

\mathbb{E}[X \mid Y = y_j] = \mathbb{E}_{j}[X],

где \mathbb{E}_j означает математическое ожидание, взятое относительно условной вероятности \mathbb{P}_j(\cdot) = \mathbb{P}(\cdot \mid Y = y_j).

Если случайная величина X также дискретна, то

\mathbb{E}[X \mid Y = y_j] = \sum\limits_{i=1}^{\infty} x_i\, \mathbb{P}(X = x_i \mid Y = y_j) = \sum\limits_{i=1}^{\infty} x_i\, p_{X \mid Y}(x_i \mid y_j),

где p_{X \mid Y} — условная функция вероятности случайной величины X относительно Y.

УМО для абсолютно непрерывных случайных величин[править | править исходный текст]

Пусть X,Y — случайные величины, такие что вектор (X,Y)^{\top} абсолютно непрерывен, и его распределение задаётся плотностью вероятности f_{X,Y}(x,y). Введём условную плотность f_{X \mid Y}, положив по определению

f_{X \mid Y}(x \mid y) = \frac{f_{X,Y}(x,y)}{f_Y(y)},

где f_Y — плотность вероятности случайной величины Y. Тогда

\mathbb{E}[X \mid Y] = h(Y),

где функция h имеет вид

h(y) = \int\limits_{-\infty}^{\infty} x\, f_{X\mid Y}(x \mid y)\, dx.

В частности,

\mathbb{E}[X \mid Y = y_j] = \int\limits_{-\infty}^{\infty} x\, f_{X\mid Y}(x \mid y_j)\, dx.

УМО в L2[править | править исходный текст]

Рассмотрим пространство случайных величин с конечным вторым моментом L^2. В нём определены скалярное произведение

\langle X, Y\rangle \equiv \mathbb{E}[XY],\; \forall X,Y \in L^2,

и порождённая им норма

\|X\| = \sqrt{\mathbb{E}\left[X^2\right]},\; \forall X \in L^2.

Множество всех случайных величин L^2_{\mathcal{G}} с конечным вторым моментом и измеримых относительно \mathcal{G}, где \mathcal{G} \subset \mathcal{F}, является подпространством L^2. Тогда оператор \Pi_{L^2_{\mathcal{G}}}:L^2 \to L^2, задаваемый равенством

\Pi_{L^2_{\mathcal{G}}}(X) = \mathbb{E}[X \mid \mathcal{G}],

является оператором ортогонального проектирования на L^2_{\mathcal{G}}. В частности:

  • Условное математическое ожидание \mathbb{E}[X \mid \mathcal{G}] — это наилучшее средне-квадратичное приближение X \mathcal{G}-измеримыми случайными величинами:
\|X - \mathbb{E}[X\mid \mathcal{G}]\| = \inf\limits_{Z \in L^2_{\mathcal{G}}} \|X - Z\|.
  • Условное математическое ожидание сохраняет скалярное произведение:
\langle X, Z \rangle = \langle \mathbb{E}[X\mid \mathcal{G}] , Z\rangle,\; \forall Z \in L^2_{\mathcal{G}}.
\Pi^2_{L^2_{\mathcal{G}}} = \Pi_{L^2_{\mathcal{G}}}.

См. также[править | править исходный текст]