Выборочная функция распределения

Выборочная (эмпири́ческая) фу́нкция распределе́ния в математической статистике — это приближение теоретической функции распределения, построенное с помощью выборки из него.

Определение

Пусть $X_{1},\ldots ,X_{n}$ — выборка объёма $n$, порождённая случайной величиной $X$, задаваемой функцией распределения $F(x)$. Будем считать, что $X_{i}$, где $i\in \left\{1,n\right\},n\in \mathbb {N}$, — независимые случайные величины, определённые на некотором пространстве элементарных исходов $\Omega$. Пусть $x\in \mathbb {R}$. Определим функцию ${\hat {F}}(x)$ следующим образом:

${\hat {F}}(x)={\frac {1}{n}}\sum \limits _{i=1}^{n}\mathbf {1} _{\{X_{i}\leq x\}}={\frac {1}{n}}\sum \limits _{i=1}^{n}\theta (x-X_{i})$,

где $\mathbf {1} _{A}$ — индикатор события $A$, $\theta (x)$ — функция Хевисайда. Таким образом, значение функции ${\hat {F}}$ в точке $x$ равно относительной частоте элементов выборки, не превосходящих значение $x$. Функция ${\hat {F}}(x)$ называется выборочной функцией распределения случайной величины $X$, или эмпирической функцией выборки, и является аппроксимацией для функции $F(x)$. Существует теорема Колмогорова, утверждающая, что при $n\to \infty$ функция ${\hat {F}}(x)$ равномерно сходится к $F(x)$, и указывающая скорость сходимости. Для каждого положительного $x$, ${\hat {F}}(x)$ — случайная величина со значением ${\frac {k}{n}},k\in \left\{0,n\right\}$.

Основные свойства

• Пусть зафиксирован элементарный исход $\omega \in \Omega$. Тогда ${\hat {F}}(x,\omega )$ является функцией распределения дискретного распределения, задаваемого следующей функцией вероятности:

$p_{i}=p(x_{i})={\frac {N_{x_{i}}}{n}},\;i=1,\ldots ,n$,

где $x_{i}=X_{i}(\omega )$, а $N_{x}=\sum \limits _{j=1}^{n}\mathbf {1} _{\{x=x_{j}\}}$ — количество элементов выборки, равных $x$. В частности, если все элементы выборки различны, то $N_{x_{i}}=1,\;\forall i$.

Математическое ожидание этого распределения имеет вид:

$\sum \limits _{i=1}^{n}x_{i}p_{i}=\sum \limits _{i=1}^{n}x_{i}{\frac {N_{x_{i}}}{n}}={\overline {X}}(\omega )$.

Таким образом, выборочное среднее — это теоретическое среднее выборочного распределения. Аналогично, выборочная дисперсия — это теоретическая дисперсия выборочного распределения.

• Случайная величина $n{\hat {F}}(x)$ имеет биномиальное распределение:

$n{\hat {F}}(x)\sim \mathrm {Bin} (n,F(x))$.

• Выборочная функция распределения ${\hat {F}}(x)$ является несмещённой оценкой функции распределения $F(x)$:

$\mathbb {E} \left[{\hat {F}}(x)\right]=F(x)$.

• Дисперсия выборочной функции распределения имеет вид:

$\mathrm {D} \left[{\hat {F}}(x)\right]={\frac {F(x)(1-F(x))}{n}}$.

• Согласно усиленному закону больших чисел, выборочная функция распределения сходится почти наверное к теоретической функции распределения:

${\hat {F}}(x)\to F(x)$ почти наверное при $n\to \infty$.

• Выборочная функция распределения является асимптотически нормальной оценкой теоретической функции распределения. Если $0<F(x)<1,\;\forall x\in \mathbb {R}$, то

${\sqrt {n}}\left({\hat {F}}(x)-F(x)\right)\to \mathrm {N} \left(0,F(x)(1-F(x))\right)$ по распределению при $n\to \infty$.

См. также

• Гистограмма (статистика)
• Теорема Гливенко — Кантелли
• Теорема Колмогорова