Распределение вероятностей

Распределение вероятностей — это закон, описывающий область значений случайной величины и вероятности их исхода (появления).

Определение

Определение 1. Пусть задано вероятностное пространство $(\Omega ,{\mathcal {F}},\mathbb {P} )$$(\Omega ,{\mathcal {F}},\mathbb {P} )$, и на нём определена случайная величина $X:\Omega \to \mathbb {R}$$X:\Omega \to \mathbb {R}$. В частности, по определению, $X$$X$ является измеримым отображением измеримого пространства $(\Omega ,{\mathcal {F}})$$(\Omega ,{\mathcal {F}})$ в измеримое пространство $(\mathbb {R} ,{\mathcal {B}}(\mathbb {R} ))$$(\mathbb {R} ,{\mathcal {B}}(\mathbb {R} ))$, где ${\mathcal {B}}(\mathbb {R} )$${\mathcal {B}}(\mathbb {R} )$ обозначает борелевскую сигма-алгебру на $\mathbb {R}$$\mathbb {R}$. Тогда случайная величина $X$$X$ индуцирует вероятностную меру $\mathbb {P} ^{X}$$\mathbb {P} ^{X}$ на $\mathbb {R}$$\mathbb {R}$ следующим образом:

$\mathbb {P} ^{X}(B)=\mathbb {P} (X^{-1}(B)),\;\forall B\in {\mathcal {B}}(\mathbb {R} ).$$\mathbb {P} ^{X}(B)=\mathbb {P} (X^{-1}(B)),\;\forall B\in {\mathcal {B}}(\mathbb {R} ).$

Мера $\mathbb {P} ^{X}$$\mathbb {P} ^{X}$ называется распределением случайной величины $X$$X$. Иными словами, $\mathbb {P} ^{X}(B)=\mathbb {P} (X\in B)$$\mathbb {P} ^{X}(B)=\mathbb {P} (X\in B)$, таким образом $\mathbb {P} ^{X}(B)$$\mathbb {P} ^{X}(B)$ задаёт вероятность того, что случайная величина $X$$X$ попадает во множество $B\in {\mathcal {B}}(\mathbb {R} )$$B\in {\mathcal {B}}(\mathbb {R} )$.

Способы задания распределений

Определение 2. Функция $F_{X}(x)=\mathbb {P} ^{X}((-\infty ,x])=\mathbb {P} (X\leqslant x)$$F_{X}(x)=\mathbb {P} ^{X}((-\infty ,x])=\mathbb {P} (X\leqslant x)$ называется (кумулятивной) функцией распределения случайной величины $X$$X$. Из свойств вероятности вытекает

Теорема 1. Функция распределения $F_{X}(x)$$F_{X}(x)$ любой случайной величины удовлетворяет следующим трем свойствам:

1. $F_{X}$$F_{X}$ — функция неубывающая;
2. $\lim _{x\to -\infty }F_{X}(x)=0,\;\lim _{x\to \infty }F_{X}(x)=1$$\lim _{x\to -\infty }F_{X}(x)=0,\;\lim _{x\to \infty }F_{X}(x)=1$;
3. $F_{X}$$F_{X}$ непрерывна справа.

Из того факта, что борелевская сигма-алгебра на вещественной прямой порождается семейством интервалов вида $\{(-\infty ,x]\}_{x\in \mathbb {R} }$$\{(-\infty ,x]\}_{x\in \mathbb {R} }$, вытекает

Теорема 2. Любая функция $F(x)$$F(x)$, удовлетворяющая трём свойствам, перечисленным выше, является функцией распределения для какого-то распределения $\mathbb {P} ^{X}$$\mathbb {P} ^{X}$.

Для вероятностных распределений, обладающих определенными свойствами, существуют более удобные способы его задания.

Дискретные распределения

Определение 3. Случайная величина называется простой или дискретной, если она принимает не более, чем счётное число значений. То есть $X(\omega )=a_{i},\;\forall \omega \in A_{i}$$X(\omega )=a_{i},\;\forall \omega \in A_{i}$, где $\{A_{i}\}_{i=1}^{\infty }$$\{A_{i}\}_{i=1}^{\infty }$ — разбиение $\Omega$$\Omega$.

Распределение простой случайной величины тогда по определению задаётся: $\mathbb {P} ^{X}(B)=\sum _{i:a_{i}\in B}\mathbb {P} (A_{i})$$\mathbb {P} ^{X}(B)=\sum _{i:a_{i}\in B}\mathbb {P} (A_{i})$. Введя обозначение $p_{i}=\mathbb {P} (A_{i})$$p_{i}=\mathbb {P} (A_{i})$, можно задать функцию $p(a_{i})=p_{i}$$p(a_{i})=p_{i}$. Очевидно, что $\sum _{i=1}^{\infty }p_{i}=1$$\sum _{i=1}^{\infty }p_{i}=1$. Используя счётную аддитивность $\mathbb {P}$$\mathbb {P}$, легко показать, что эта функция однозначно определяет распределение $X$$X$.

Определение 4. Функция $p(a_{i})=p_{i}$$p(a_{i})=p_{i}$, где $\sum _{i=1}^{\infty }p_{i}=1$$\sum _{i=1}^{\infty }p_{i}=1$ часто называется дискретным распределением.

Пример 1. Пусть функция $p$$p$ задана таким образом, что $p(-1)={\frac {1}{2}}$$p(-1)={\frac {1}{2}}$ и $p(1)={\frac {1}{2}}$$p(1)={\frac {1}{2}}$. Эта функция задаёт распределение случайной величины $X$$X$, для которой $\mathbb {P} (X=\pm 1)={\frac {1}{2}}$$\mathbb {P} (X=\pm 1)={\frac {1}{2}}$ (распределение Бернулли).

Теорема 3. Дискретное распределение обладает следующими свойствами:

1. $p_{i}\geqslant 0$$p_{i}\geqslant 0$;

2. $\sum _{i=1}^{n}p_{i}=1$$\sum _{i=1}^{n}p_{i}=1$.

Решётчатые распределения

Определение 5. Решётчатым называется распределение с дискретной функцией распределения и точки разрыва функции распределения образуют подмножество точек вида $a+nh$$a+nh$, где $a$$a$ - вещественное, $h>0$$h>0$, $n$$n$ - целое.

Пример 2. Распределение Пуассона является решётчатым.

Пример 3. Биномиальное распределение является решётчатым.

Теорема 4. Для того, чтобы функция распределения $F$$F$ была решётчатой с шагом $h$$h$, необходимо и достаточно, чтобы её характеристическая функция $f$$f$ удовлетворяла соотношению $|f(2\pi /h)|=1$$|f(2\pi /h)|=1$.

Доказательство.

Необходимость. Обозначим как $\left\{a+nh\right\}$$\left\{a+nh\right\}$ множество, содержащее все точки разрыва функции $F$$F$ и $p_{n}=F(a+nh)-F(a+nh-0)$$p_{n}=F(a+nh)-F(a+nh-0)$. Тогда характеристическая функция $f(t)=\sum _{n}p_{n}\exp \left[i(a+nh)t\right]$$f(t)=\sum _{n}p_{n}\exp \left[i(a+nh)t\right]$. Следовательно, $f({\frac {2\pi }{h}})=\exp(i{\frac {2\pi a}{h}})$$f({\frac {2\pi }{h}})=\exp(i{\frac {2\pi a}{h}})$ и $\left|f({\frac {2\pi }{h}})\right|=1$$\left|f({\frac {2\pi }{h}})\right|=1$.

Достаточность. Если $\left|f({\frac {2\pi }{h}})\right|=1$$\left|f({\frac {2\pi }{h}})\right|=1$, то $f({\frac {2\pi }{h}})=\exp(i{\frac {2\pi a}{h}})$$f({\frac {2\pi }{h}})=\exp(i{\frac {2\pi a}{h}})$ для некоторого вещественного $a$$a$. Тогда $\int \exp \left[{\frac {i2\pi (x-a)}{h}}\right]dF(x)=1$$\int \exp \left[{\frac {i2\pi (x-a)}{h}}\right]dF(x)=1$. Из этого равенства следует: $\int (1-\cos \left[{\frac {2\pi (x-a)}{h}}\right])dF(x)=0$$\int (1-\cos \left[{\frac {2\pi (x-a)}{h}}\right])dF(x)=0$ В силу неотрицательности подынтегральной функции, мера множества $\left\{x:1-\cos \left[{\frac {2\pi (x-a)}{h}}\right]>0\right\}$$\left\{x:1-\cos \left[{\frac {2\pi (x-a)}{h}}\right]>0\right\}$ равна нулю. Таким образом, функция распределения $F$$F$ может иметь своими точками роста лишь точки из множества $\left\{a+nh\right\}$$\left\{a+nh\right\}$.

Следствием этой теоремы является следующее свойство решётчатых распределений: если решётчатая функция распределения $F$$F$ c шагом $h$$h$ является свёрткой функций распределения $F_{1}$$F_{1}$ и $F_{2}$$F_{{2}}$ $F=F_{1}*F_{2}$$F=F_{1}*F_{2}$, то $F_{1}$$F_{1}$ и $F_{2}$$F_{{2}}$ также являются решётчатыми с шагом $h$$h$.

Доказательство. Обозначим через $f,f_{1},f_{2}$$f,f_{1},f_{2}$ характеристические функции функций распределения $F,F_{1},F_{2}$$F,F_{1},F_{2}$. Тогда $\left|f_{1}({\frac {2\pi }{h}})\right|\left|f_{2}({\frac {2\pi }{h}})\right|=\left|f({\frac {2\pi }{h}})\right|$$\left|f_{1}({\frac {2\pi }{h}})\right|\left|f_{2}({\frac {2\pi }{h}})\right|=\left|f({\frac {2\pi }{h}})\right|$. Так как модуль любой характеристической функции на вещественной оси не превосходит $1$$1$, то $\left|f_{1}({\frac {2\pi }{h}})\right|=\left|f_{2}({\frac {2\pi }{h}})\right|=1$$\left|f_{1}({\frac {2\pi }{h}})\right|=\left|f_{2}({\frac {2\pi }{h}})\right|=1$ и доказательство завершено.

Непрерывные распределения

Непрерывное распределение — распределение, не имеющее атомов.

Абсолютно непрерывные распределения

Абсолютно непрерывными называют распределения, имеющие плотность вероятности. Кумулятивная функция таких распределений абсолютно непрерывна в смысле Лебега.

Определение 6. Распределение случайной величины $X$$X$ называется абсолютно непрерывным, если существует неотрицательная функция $f_{X}:\mathbb {R} \to \mathbb {R} _{+}$$f_{X}:\mathbb {R} \to \mathbb {R} _{+}$, такая что $\mathbb {P} ^{X}(B)\equiv \mathbb {P} (X\in B)=\int \limits _{B}f_{X}(x)\,dx$$\mathbb {P} ^{X}(B)\equiv \mathbb {P} (X\in B)=\int \limits _{B}f_{X}(x)\,dx$. Функция $f_{X}$$f_{X}$ тогда называется плотностью распределения случайной величины $X$$X$.

Пример 4. Пусть $f(x)=1$$f(x)=1$, когда $0\leqslant x\leqslant 1$$0\leqslant x\leqslant 1$, и $0$$0$ — в противном случае. Тогда $\mathbb {P} (a<X<b)=\int \limits _{a}^{b}1\,dx=b-a$$\mathbb {P} (a<X<b)=\int \limits _{a}^{b}1\,dx=b-a$, если $(a,b)\subset [0,1]$$(a,b)\subset [0,1]$.

Очевидно, что для любой плотности распределения $f_{X}$$f_{X}$ верно равенство $\int \limits _{-\infty }^{\infty }f_{X}(x)\,dx=1$$\int \limits _{-\infty }^{\infty }f_{X}(x)\,dx=1$. Верна и обратная

Теорема 5. Если функция $f:\mathbb {R} \to \mathbb {R}$$f:\mathbb {R} \to \mathbb {R}$ такая, что:

1. $f(x)\geqslant 0,\;\forall x\in \mathbb {R}$$f(x)\geqslant 0,\;\forall x\in \mathbb {R}$;
2. $\int \limits _{-\infty }^{\infty }f(x)\,dx=1$$\int \limits _{-\infty }^{\infty }f(x)\,dx=1$,

то существует распределение $\mathbb {P} ^{X}$$\mathbb {P} ^{X}$ такое, что $f(x)$$f(x)$ является его плотностью.

Просто применение формулы Ньютона-Лейбница приводит к простому соотношению между кумулятивной функцией и плотностью абсолютно непрерывного распределения.

Теорема 6. Если $f(x)$$f(x)$ — непрерывная плотность распределения, а $F(x)$$F(x)$ — его кумулятивная функция, то

1. $F'(x)=f(x),\;\forall x\in \mathbb {R} ,$$F'(x)=f(x),\;\forall x\in \mathbb {R} ,$
2. $F(x)=\int \limits _{-\infty }^{x}f(t)\,dt$$F(x)=\int \limits _{-\infty }^{x}f(t)\,dt$.

При построении распределения по эмпирическим (опытным) данным следует избегать ошибок округления.

Сингулярные распределения

Сингулярными называют распределения, сосредоточенные на множестве нулевой меры (обычно меры Лебега).

Литература

• Рамачандран Б. Теория характеристических функций. — М.: Наука, 1975. — 224 с.