Условное математическое ожидание в теории вероятностей — это среднее значение случайной величины при выполнении некоторого условия (реализации каких-то событий). Часто в качестве условия выступает фиксированное на некотором уровне значение другой случайной величины, которая может быть связана с данной (если эти случайные величины независимы, то условное математическое ожидание совпадает с (безусловным) математическим ожиданием). В этом случае условное математическое ожидание случайной величины
Y
{\displaystyle Y}
при условии, что случайная величина
X
{\displaystyle X}
приняла значение
x
{\displaystyle x}
обозначается как
E
(
Y
|
X
=
x
)
{\displaystyle E(Y|X=x)}
, соответственно, ее можно рассматривать как функцию от
x
{\displaystyle x}
. Эта функция называется функцией регрессии случайной величины
Y
{\displaystyle Y}
на случайную величину
X
{\displaystyle X}
и поэтому условное математическое ожидание обозначают как
E
(
Y
|
X
)
{\displaystyle E(Y|X)}
, то есть без указания фиксированного значения
x
{\displaystyle x}
.
Условное математическое ожидание - это характеристика условного распределения .
Будем считать, что дано вероятностное пространство
(
Ω
,
F
,
P
)
{\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}
. Пусть
X
:
Ω
→
R
{\displaystyle X:\Omega \to \mathbb {R} }
— интегрируемая случайная величина, то есть
E
|
X
|
<
∞
{\displaystyle \mathbb {E} \vert X\vert <\infty }
. Пусть также
G
⊂
F
{\displaystyle {\mathcal {G}}\subset {\mathcal {F}}}
— σ-подалгебра σ-алгебры
F
{\displaystyle {\mathcal {F}}}
.
Случайная величина
X
^
{\displaystyle {\hat {X}}}
называется условным математическим ожиданием
X
{\displaystyle X}
относительно σ-алгебры
G
{\displaystyle {\mathcal {G}}}
, если
X
^
{\displaystyle {\hat {X}}}
измерима относительно
G
{\displaystyle {\mathcal {G}}}
.
∀
A
∈
G
,
E
[
X
^
1
A
]
=
E
[
X
1
A
]
{\displaystyle \forall A\in {\mathcal {G}},\quad \mathbb {E} \left[{\hat {X}}\mathbf {1} _{A}\right]=\mathbb {E} [X\mathbf {1} _{A}]}
,
где
1
A
{\displaystyle \mathbf {1} _{A}}
— индикатор события
A
{\displaystyle A}
(иными словами, это характеристическая функция множества-события, аргументом которой является случайная величина или элементарный исход).
Условное математическое ожидание обозначается
E
[
X
∣
G
]
{\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]}
.
Пример. Пусть
Ω
=
{
1
,
2
,
3
,
4
}
,
F
=
2
Ω
,
P
(
ω
)
=
1
/
4
,
ω
=
1
,
…
,
4.
{\displaystyle \Omega =\{1,2,3,4\},\,{\mathcal {F}}=2^{\Omega },\,\mathbb {P} (\omega )=1/4,\,\omega =1,\ldots ,4.}
Положим
G
=
{
∅
,
{
1
,
2
}
,
{
3
,
4
}
,
Ω
}
{\displaystyle {\mathcal {G}}=\{\varnothing ,\{1,2\},\{3,4\},\Omega \}}
. Тогда
G
{\displaystyle {\mathcal {G}}}
— σ-алгебра, и
G
⊂
F
{\displaystyle {\mathcal {G}}\subset {\mathcal {F}}}
. Пусть случайная величина
X
{\displaystyle X}
имеет вид
X
(
ω
)
=
ω
2
,
ω
=
1
,
…
,
4
{\displaystyle X(\omega )=\omega ^{2},\;\omega =1,\ldots ,4}
.
Тогда
E
[
X
∣
G
]
(
ω
)
=
{
5
2
,
ω
=
1
,
2
25
2
,
ω
=
3
,
4.
{\displaystyle \mathbb {E} [X\mid {\mathcal {G}}](\omega )=\left\{{\begin{matrix}{\frac {5}{2}},&\omega =1,2\\[5pt]{\frac {25}{2}},&\omega =3,4.\end{matrix}}\right.}
Пусть
C
=
{
C
α
}
⊂
F
{\displaystyle {\mathcal {C}}=\{C_{\alpha }\}\subset {\mathcal {F}}}
— произвольное семейство событий. Тогда условным математическим ожиданием
X
{\displaystyle X}
относительно
C
{\displaystyle {\mathcal {C}}}
называется
E
[
X
∣
C
]
≡
E
[
X
∣
σ
(
C
)
]
{\displaystyle \mathbb {E} [X\mid {\mathcal {C}}]\equiv \mathbb {E} [X\mid \sigma ({\mathcal {C}})]}
,
где
σ
(
C
)
{\displaystyle \sigma ({\mathcal {C}})}
— минимальная сигма-алгебра, содержащая
C
{\displaystyle {\mathcal {C}}}
.
Пример. Пусть
Ω
=
{
1
,
2
,
3
,
4
}
,
F
=
2
Ω
,
P
(
ω
)
=
1
/
4
,
ω
=
1
,
…
,
4.
{\displaystyle \Omega =\{1,2,3,4\},\,{\mathcal {F}}=2^{\Omega },\,\mathbb {P} (\omega )=1/4,\,\omega =1,\ldots ,4.}
Пусть также
C
=
{
1
,
2
,
3
}
{\displaystyle C=\{1,2,3\}}
. Тогда
σ
(
C
)
=
{
∅
,
{
1
,
2
,
3
}
,
{
4
}
,
Ω
}
⊂
F
{\displaystyle \sigma (C)=\{\varnothing ,\{1,2,3\},\{4\},\Omega \}\subset {\mathcal {F}}}
. Пусть случайная величина
X
{\displaystyle X}
имеет вид
X
(
ω
)
=
ω
2
,
ω
=
1
,
…
,
4
{\displaystyle X(\omega )=\omega ^{2},\;\omega =1,\ldots ,4}
.
Тогда
E
[
X
∣
C
]
(
ω
)
=
{
14
3
,
ω
=
1
,
2
,
3
16
,
ω
=
4.
{\displaystyle \mathbb {E} [X\mid {\mathcal {C}}](\omega )=\left\{{\begin{matrix}{\frac {14}{3}},&\omega =1,2,3\\[5pt]16,&\omega =4.\end{matrix}}\right.}
Пусть
Y
:
Ω
→
R
{\displaystyle Y:\Omega \to \mathbb {R} }
другая случайная величина. Тогда условным математическим ожиданием
X
{\displaystyle X}
относительно
Y
{\displaystyle Y}
называется
E
[
X
∣
Y
]
≡
E
[
X
∣
σ
(
Y
)
]
{\displaystyle \mathbb {E} [X\mid Y]\equiv \mathbb {E} [X\mid \sigma (Y)]}
,
где
σ
(
Y
)
{\displaystyle \sigma (Y)}
— σ-алгебра, порождённая случайной величиной
Y
{\displaystyle Y}
.
Другое определение УМО
X
{\displaystyle X}
относительно
Y
{\displaystyle Y}
:
E
(
X
∣
Y
)
=
E
(
X
∣
Y
=
y
)
∣
y
=
Y
{\displaystyle \mathbb {E} (X\mid Y)=\mathbb {E} (X\mid Y=y)\mid _{y=Y}}
Такое определение конструктивно описывает алгоритм нахождения УМО:
найти математическое ожидание случайной величины
X
{\displaystyle X}
, принимая
Y
{\displaystyle Y}
за константу
y
{\displaystyle y}
;
Затем в полученном выражении
y
{\displaystyle y}
обратно заменить на случайную величину
Y
{\displaystyle Y}
.
Пример :
X
≡
N
(
a
,
σ
2
)
{\displaystyle X\equiv N(a,\sigma ^{2})}
E
[
X
Y
∣
Y
]
=
E
[
X
y
]
∣
y
=
Y
=
1
y
E
[
X
]
∣
y
=
Y
=
a
y
∣
y
=
Y
=
a
Y
{\displaystyle \mathbb {E} \left[{\frac {X}{Y}}\mid Y\right]=\mathbb {E} \left[{\frac {X}{y}}\right]\mid _{y=Y}={\frac {1}{y}}\mathbb {E} [X]\mid _{y=Y}={\frac {a}{y}}\mid _{y=Y}={\frac {a}{Y}}}
Пусть
B
∈
F
{\displaystyle B\in {\mathcal {F}}}
— произвольное событие, и
1
B
{\displaystyle \mathbf {1} _{B}}
— его индикатор. Тогда условной вероятностью
B
{\displaystyle B}
относительно
G
{\displaystyle {\mathcal {G}}}
называется
P
(
B
∣
G
)
≡
E
[
1
B
∣
G
]
{\displaystyle \mathbb {P} (B\mid {\mathcal {G}})\equiv \mathbb {E} [\mathbf {1} _{B}\mid {\mathcal {G}}]}
.
Условное математическое ожидание — это случайная величина, а не число.
Условное математическое ожидание определено с точностью до событий вероятности нуль . Таким образом, если
X
^
1
=
E
[
X
∣
G
]
{\displaystyle {\hat {X}}_{1}=\mathbb {E} [X\mid {\mathcal {G}}]}
и
X
^
1
=
X
^
2
{\displaystyle {\hat {X}}_{1}={\hat {X}}_{2}}
P
{\displaystyle \mathbb {P} }
-почти всюду , то
X
^
2
=
E
[
X
∣
G
]
{\displaystyle {\hat {X}}_{2}=\mathbb {E} [X\mid {\mathcal {G}}]}
. Отождествив случайные величины, различающиеся лишь на событиях вероятности нуль, получаем единственность условного математического ожидания.
Взяв
A
=
Ω
{\displaystyle A=\Omega }
, получаем по определению:
E
[
X
]
=
E
[
E
[
X
∣
G
]
]
{\displaystyle \mathbb {E} [X]=\mathbb {E} [\mathbb {E} [X\mid {\mathcal {G}}]]}
,
и в частности справедлива формула полной вероятности :
P
(
B
)
=
E
[
P
(
B
∣
G
)
]
{\displaystyle \mathbb {P} (B)=\mathbb {E} [\mathbb {P} (B\mid {\mathcal {G}})]}
.
Пусть σ-алгебра
G
=
σ
(
C
1
,
…
,
C
n
)
{\displaystyle {\mathcal {G}}=\sigma (C_{1},\ldots ,C_{n})}
порождена разбиением
{
C
i
}
i
=
1
∞
{\displaystyle \{C_{i}\}_{i=1}^{\infty }}
. Тогда
E
[
X
∣
G
]
=
∑
i
=
1
∞
E
[
X
∣
C
i
]
1
C
i
{\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]=\sum _{i=1}^{\infty }\mathbb {E} [X\mid C_{i}]\mathbf {1} _{C_{i}}}
.
В частности формула полной вероятности принимает классический вид:
P
(
A
∣
G
)
=
∑
i
=
1
∞
P
(
A
∣
C
i
)
1
C
i
{\displaystyle \mathbb {P} (A\mid {\mathcal {G}})=\sum \limits _{i=1}^{\infty }\mathbb {P} (A\mid C_{i})\mathbf {1} _{C_{i}}}
,
а следовательно
E
[
P
(
A
∣
G
)
]
=
∑
i
=
1
∞
P
(
A
∣
C
i
)
E
[
1
C
i
]
=
∑
i
=
1
∞
P
(
A
∣
C
i
)
P
(
C
i
)
=
P
(
A
)
{\displaystyle \mathbb {E} [\mathbb {P} (A\mid {\mathcal {G}})]=\sum \limits _{i=1}^{\infty }\mathbb {P} (A\mid C_{i})\mathbb {E} [\mathbf {1} _{C_{i}}]=\sum \limits _{i=1}^{\infty }\mathbb {P} (A\mid C_{i})\,\mathbb {P} (C_{i})=\mathbb {P} (A)}
.
Если
X
^
=
E
[
X
∣
Y
]
{\displaystyle {\hat {X}}=\mathbb {E} [X\mid Y]}
, то существует борелевская функция
h
:
R
→
R
{\displaystyle h:\mathbb {R} \to \mathbb {R} }
, такая что
X
^
=
h
(
Y
)
{\displaystyle {\hat {X}}=h(Y)}
.
Условное математическое ожидание
X
{\displaystyle X}
относительно события
{
Y
=
y
}
{\displaystyle \{Y=y\}}
по определению равно
E
[
X
∣
Y
=
y
]
≡
h
(
y
)
{\displaystyle \mathbb {E} [X\mid Y=y]\equiv h(y)}
.
Если
X
≥
0
{\displaystyle X\geq 0}
п.н. , то
E
[
X
∣
G
]
≥
0
{\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]\geq 0}
п.н.
Если
X
{\displaystyle X}
независима от
G
{\displaystyle {\mathcal {G}}}
, то
E
[
X
∣
G
]
=
E
[
X
]
{\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]=\mathbb {E} [X]}
п.н.
В частности, если
X
,
Y
{\displaystyle X,Y}
независимые случайные величины, то
E
[
X
∣
Y
]
=
E
[
X
]
{\displaystyle \mathbb {E} [X\mid Y]=\mathbb {E} [X]}
п.н.
Если
G
1
,
G
2
{\displaystyle {\mathcal {G}}_{1},{\mathcal {G}}_{2}}
— две σ-алгебры, такие что
G
1
⊂
G
2
⊂
F
{\displaystyle {\mathcal {G}}_{1}\subset {\mathcal {G}}_{2}\subset {\mathcal {F}}}
, то
E
[
E
[
X
∣
G
2
]
∣
G
1
]
=
E
[
X
∣
G
1
]
{\displaystyle \mathbb {E} [\mathbb {E} [X\mid {\mathcal {G}}_{2}]\mid {\mathcal {G}}_{1}]=\mathbb {E} [X\mid {\mathcal {G}}_{1}]}
.
Если
X
{\displaystyle X}
—
G
{\displaystyle {\mathcal {G}}}
-измерима, и
Y
{\displaystyle Y}
— случайная величина, такая что
Y
,
X
Y
∈
L
1
{\displaystyle Y,XY\in L^{1}}
, то
E
[
X
Y
∣
G
]
=
X
E
[
Y
∣
G
]
{\displaystyle \mathbb {E} [XY\mid {\mathcal {G}}]=X\,\mathbb {E} [Y\mid {\mathcal {G}}]}
.
«Математическое ожидание убирает условие». Это правило верно для УМО относительно случайной величины (УМО в таком случае будет случайной величиной) и для условной вероятности относительно случайной величины
E
[
E
(
X
∣
Y
)
]
=
E
(
X
)
{\displaystyle \mathbb {E} [\mathbb {E} (X\mid Y)]=\mathbb {E} (X)}
.
Пусть
Y
{\displaystyle Y}
— дискретная случайная величина, чьё распределение задаётся функцией вероятности
P
(
Y
=
y
j
)
≡
p
Y
(
y
j
)
=
p
j
>
0
,
j
=
1
,
2
,
…
{\displaystyle \mathbb {P} (Y=y_{j})\equiv p_{Y}(y_{j})=p_{j}>0,\;j=1,2,\ldots }
. Тогда система событий
{
Y
=
y
j
}
{\displaystyle \{Y=y_{j}\}}
является разбиением
Ω
{\displaystyle \Omega }
, и
E
[
X
∣
Y
]
=
∑
j
=
1
∞
E
[
X
∣
Y
=
y
j
]
1
{
Y
=
y
j
}
{\displaystyle \mathbb {E} [X\mid Y]=\sum \limits _{j=1}^{\infty }\mathbb {E} [X\mid Y=y_{j}]\mathbf {1} _{\{Y=y_{j}\}}}
,
а
E
[
X
∣
Y
=
y
j
]
=
E
j
[
X
]
{\displaystyle \mathbb {E} [X\mid Y=y_{j}]=\mathbb {E} _{j}[X]}
,
где
E
j
{\displaystyle \mathbb {E} _{j}}
означает математическое ожидание , взятое относительно условной вероятности
P
j
(
⋅
)
=
P
(
⋅
∣
Y
=
y
j
)
{\displaystyle \mathbb {P} _{j}(\cdot )=\mathbb {P} (\cdot \mid Y=y_{j})}
.
Если случайная величина
X
{\displaystyle X}
также дискретна, то
E
[
X
∣
Y
=
y
j
]
=
∑
i
=
1
∞
x
i
P
(
X
=
x
i
∣
Y
=
y
j
)
=
∑
i
=
1
∞
x
i
p
X
∣
Y
(
x
i
∣
y
j
)
{\displaystyle \mathbb {E} [X\mid Y=y_{j}]=\sum \limits _{i=1}^{\infty }x_{i}\,\mathbb {P} (X=x_{i}\mid Y=y_{j})=\sum \limits _{i=1}^{\infty }x_{i}\,p_{X\mid Y}(x_{i}\mid y_{j})}
,
где
p
X
∣
Y
{\displaystyle p_{X\mid Y}}
— условная функция вероятности случайной величины
X
{\displaystyle X}
относительно
Y
{\displaystyle Y}
.
Пусть
X
,
Y
{\displaystyle X,Y}
— случайные величины, такие что вектор
(
X
,
Y
)
⊤
{\displaystyle (X,Y)^{\top }}
абсолютно непрерывен , и его распределение задаётся плотностью вероятности
f
X
,
Y
(
x
,
y
)
{\displaystyle f_{X,Y}(x,y)}
. Введём условную плотность
f
X
∣
Y
{\displaystyle f_{X\mid Y}}
, положив по определению
f
X
∣
Y
(
x
∣
y
)
=
f
X
,
Y
(
x
,
y
)
f
Y
(
y
)
{\displaystyle f_{X\mid Y}(x\mid y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)}}}
,
где
f
Y
{\displaystyle f_{Y}}
— плотность вероятности случайной величины
Y
{\displaystyle Y}
. Тогда
E
[
X
∣
Y
]
=
h
(
Y
)
{\displaystyle \mathbb {E} [X\mid Y]=h(Y)}
,
где функция
h
{\displaystyle h}
имеет вид
h
(
y
)
=
∫
−
∞
∞
x
f
X
∣
Y
(
x
∣
y
)
d
x
{\displaystyle h(y)=\int \limits _{-\infty }^{\infty }x\,f_{X\mid Y}(x\mid y)\,dx}
.
В частности,
E
[
X
∣
Y
=
y
j
]
=
∫
−
∞
∞
x
f
X
∣
Y
(
x
∣
y
j
)
d
x
{\displaystyle \mathbb {E} [X\mid Y=y_{j}]=\int \limits _{-\infty }^{\infty }x\,f_{X\mid Y}(x\mid y_{j})\,dx}
.
Рассмотрим пространство случайных величин с конечным вторым моментом
L
2
{\displaystyle L^{2}}
. В нём определены скалярное произведение
⟨
X
,
Y
⟩
≡
E
[
X
Y
]
,
∀
X
,
Y
∈
L
2
{\displaystyle \langle X,Y\rangle \equiv \mathbb {E} [XY],\;\forall X,Y\in L^{2}}
,
и порождённая им норма
‖
X
‖
=
E
[
X
2
]
,
∀
X
∈
L
2
{\displaystyle \|X\|={\sqrt {\mathbb {E} \left[X^{2}\right]}},\;\forall X\in L^{2}}
.
Множество всех случайных величин
L
G
2
{\displaystyle L_{\mathcal {G}}^{2}}
с конечным вторым моментом и измеримых относительно
G
{\displaystyle {\mathcal {G}}}
, где
G
⊂
F
{\displaystyle {\mathcal {G}}\subset {\mathcal {F}}}
, является подпространством
L
2
{\displaystyle L^{2}}
. Тогда оператор
Π
L
G
2
:
L
2
→
L
2
{\displaystyle \Pi _{L_{\mathcal {G}}^{2}}:L^{2}\to L^{2}}
, задаваемый равенством
Π
L
G
2
(
X
)
=
E
[
X
∣
G
]
{\displaystyle \Pi _{L_{\mathcal {G}}^{2}}(X)=\mathbb {E} [X\mid {\mathcal {G}}]}
,
является оператором ортогонального проектирования на
L
G
2
{\displaystyle L_{\mathcal {G}}^{2}}
. В частности:
Условное математическое ожидание
E
[
X
∣
G
]
{\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]}
— это наилучшее средне-квадратичное приближение
X
{\displaystyle X}
G
{\displaystyle {\mathcal {G}}}
-измеримыми случайными величинами:
‖
X
−
E
[
X
∣
G
]
‖
=
inf
Z
∈
L
G
2
‖
X
−
Z
‖
{\displaystyle \|X-\mathbb {E} [X\mid {\mathcal {G}}]\|=\inf \limits _{Z\in L_{\mathcal {G}}^{2}}\|X-Z\|}
.
Условное математическое ожидание сохраняет скалярное произведение:
⟨
X
,
Z
⟩
=
⟨
E
[
X
∣
G
]
,
Z
⟩
,
∀
Z
∈
L
G
2
{\displaystyle \langle X,Z\rangle =\langle \mathbb {E} [X\mid {\mathcal {G}}],Z\rangle ,\;\forall Z\in L_{\mathcal {G}}^{2}}
.
Π
L
G
2
2
=
Π
L
G
2
{\displaystyle \Pi _{L_{\mathcal {G}}^{2}}^{2}=\Pi _{L_{\mathcal {G}}^{2}}}
.