Нормальное распределение

Сюда перенаправляется запрос «Гауссовский шум». На эту тему нужна отдельная статья (англ.).

Нормальное распределение

Плотность вероятности Зеленая линия соответствует стандартному нормальному распределению
Функция распределения Цвета на этом графике соответствуют графику наверху
Обозначение	$N\left(\mu ,\sigma ^{2}\right)$
Параметры	μ — коэффициент сдвига (вещественный) σ > 0 — коэффициент масштаба (вещественный, строго положительный)
Носитель	$x\in \left(-\infty ;+\infty \right)$
Плотность вероятности	${\frac {1}{\sigma {\sqrt {2\pi }}}}\;\exp \left(-{\frac {\left(x-\mu \right)^{2}}{2\sigma ^{2}}}\right)$
Функция распределения	${\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {x-\mu }{\sqrt {2\sigma ^{2}}}}\right)\right]$
Математическое ожидание	$\mu$
Медиана	$\mu$
Мода	$\mu$
Дисперсия	$\sigma ^{2}$
Коэффициент асимметрии	$0$
Коэффициент эксцесса	$0$
Дифференциальная энтропия	$\ln \left(\sigma {\sqrt {2\,\pi \,e}}\right)$
Производящая функция моментов	$M_{X}\left(t\right)=\exp \left(\mu \,t+{\frac {\sigma ^{2}t^{2}}{2}}\right)$
Характеристическая функция	$\phi _{X}\left(t\right)=\exp \left(\mu \,i\,t-{\frac {\sigma ^{2}t^{2}}{2}}\right)$

Норма́льное распределе́ние, также называемое распределением Гаусса или Гаусса — Лапласа — распределение вероятностей, которое в одномерном случае задаётся функцией плотности вероятности, совпадающей с функцией Гаусса:

$f(x)={\frac {1}{\sigma {\sqrt {2\pi }}}}\;e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}},$

где параметр μ — математическое ожидание (среднее значение), медиана и мода распределения, а параметр σ — среднеквадратическое отклонение (σ ² — дисперсия) распределения.

Таким образом, одномерное нормальное распределение является двухпараметрическим семейством распределений. Многомерный случай описан в статье «Многомерное нормальное распределение».

Стандартным нормальным распределением называется нормальное распределение с математическим ожиданием μ = 0 и стандартным отклонением σ = 1.

Значение

Важное значение нормального распределения во многих областях науки (например, в математической статистике и статистической физике) вытекает из центральной предельной теоремы теории вероятностей. Если результат наблюдения является суммой многих случайных слабо взаимозависимых величин, каждая из которых вносит малый вклад относительно общей суммы, то при увеличении числа слагаемых распределение центрированного и нормированного результата стремится к нормальному. Этот закон теории вероятностей имеет следствием широкое распространение нормального распределения, что и стало одной из причин его наименования.

Свойства

Моменты

Моментами и абсолютными моментами случайной величины X называются математические ожидания X ^p и $\left|X\right|^{p}$, соответственно. Если математическое ожидание случайной величины μ = 0, то эти параметры называются центральными моментами. В большинстве случаев представляют интерес моменты для целых p.

Если X имеет нормальное распределение, то для неё существуют (конечные) моменты при всех p с действительной частью больше −1. Для неотрицательных целых p, центральные моменты таковы:

$\mathrm {E} \left[X^{p}\right]={\begin{cases}0&p=2n+1,\\\sigma ^{p}\,\left(p-1\right)!!&p=2n.\end{cases}}$

Здесь n — натуральное число, а запись (p − 1)!! означает двойной факториал числа p − 1, то есть (поскольку p − 1 в данном случае нечётно) произведение всех нечётных чисел от 1 до p − 1.

Центральные абсолютные моменты для неотрицательных целых p таковы:

$\operatorname {E} \left[\left|X\right|^{p}\right]=\sigma ^{p}\,\left(p-1\right)!!\cdot \left.{\begin{cases}{\sqrt {\frac {2}{\pi }}}&p=2n+1,\\1&p=2n.\end{cases}}\right\}=\sigma ^{p}\cdot {\frac {2^{\frac {p}{2}}\Gamma \left({\frac {p+1}{2}}\right)}{\sqrt {\pi }}}.$

Последняя формула справедлива также для произвольных p > −1.

Бесконечная делимость

Нормальное распределение является бесконечно делимым.

Если случайные величины $X_{1}$ и $X_{2}$ независимы и имеют нормальное распределение с математическими ожиданиями $\mu _{1}$ и $\mu _{2}$ и дисперсиями $\sigma _{1}^{2}$ и $\sigma _{2}^{2}$ соответственно, то $X_{1}+X_{2}$ также имеет нормальное распределение с математическим ожиданием $\mu _{1}+\mu _{2}$ и дисперсией $\sigma _{1}^{2}+\sigma _{2}^{2}.$ Отсюда вытекает, что нормальная случайная величина представима как сумма произвольного числа независимых нормальных случайных величин.

Максимальная энтропия

Нормальное распределение имеет максимальную дифференциальную энтропию среди всех непрерывных распределений, дисперсия которых не превышает заданную величину.

Моделирование нормальных псевдослучайных величин

Простейшие приближённые методы моделирования основываются на центральной предельной теореме. Именно, если сложить несколько независимых одинаково распределённых величин с конечной дисперсией, то сумма будет распределена приблизительно нормально. Например, если сложить 100 независимых стандартно равномерно распределённых случайных величин, то распределение суммы будет приближённо нормальным.

Для программного генерирования нормально распределённых псевдослучайных величин предпочтительнее использовать преобразование Бокса — Мюллера. Оно позволяет генерировать одну нормально распределённую величину на базе одной равномерно распределённой.

Также существует алгоритм Зиккурат, который работает даже быстрее преобразования Бокса — Мюллера. Тем не менее, сложнее в реализации, но его применение оправдано в случаях, когда требуется генерирование очень большого числа неравномерно распределенных случайных чисел.

Нормальное распределение в природе и приложениях

Нормальное распределение часто встречается в природе. Например, следующие случайные величины хорошо моделируются нормальным распределением:

• отклонение при стрельбе;
• погрешности измерений (однако погрешности некоторых измерительных приборов имеют иное распределение);
• некоторые характеристики живых организмов в популяции.

Такое широкое распространение этого распределения связано с тем, что оно является бесконечно делимым непрерывным распределением с конечной дисперсией. Поэтому к нему в пределе приближаются некоторые другие, например биномиальное и пуассоновское. Этим распределением моделируются многие недетерминированные физические процессы.

Многомерное нормальное распределение используется при исследовании многомерных случайных величин (случайных векторов). Одним из многочисленных примеров таких приложений является исследование параметров личности человека в психологии и психиатрии.

Связь с другими распределениями

• Нормальное распределение является распределением Пирсона типа XI.
• Отношение пары независимых стандартных нормально распределенных случайных величин имеет распределение Коши. То есть, если случайная величина $X$ представляет собой отношение $X=Y/Z$ (где $Y$ и $Z$ — независимые стандартные нормальные случайные величины), то она будет обладать распределением Коши.
• Если $z_{1},\ldots ,z_{k}$ — совместно независимые стандартные нормальные случайные величины, то есть $z_{i}\sim N\left(0,1\right)$, то случайная величина $x=z_{1}^{2}+\ldots +z_{k}^{2}$ имеет распределение хи-квадрат с k степенями свободы.
• Если случайная величина $X$ подчинена логнормальному распределению, то её натуральный логарифм имеет нормальное распределение. То есть, если $X\sim \mathrm {LogN} \left(\mu ,\sigma ^{2}\right)$, то $Y=\ln \left(X\right)\sim \mathrm {N} \left(\mu ,\sigma ^{2}\right)$. И наоборот, если $Y\sim \mathrm {N} \left(\mu ,\sigma ^{2}\right)$, то $X=\exp \left(Y\right)\sim \mathrm {LogN} \left(\mu ,\sigma ^{2}\right)$.
• Отношение квадратов двух стандартных нормальных случайных величин имеет распределение Фишера со степенями свободы $\left(1,1\right)$.

История

Впервые нормальное распределение как предел биномиального распределения при $p={\tfrac {1}{2}}$ появилось в 1738 году во втором издании работы Муавра «Доктрина случайностей». Это было первое доказательство частного случая центральной предельной теоремы. В 1809 году Гаусс в сочинении «Теория движения небесных тел» ввёл это распределение как возникающее в результате многократных измерений движения небесных тел. Однако Гаусс вывел формулу для действительных случайных величин из принципа достижения максимума совместной плотности всех измерений в точке с координатами, равными среднему всех измерений. Этот принцип впоследствии подвергался критике. В 1812 году Лаплас в теореме Муавра — Лапласа обобщил результат Муавра для произвольного биномиального распределения, то есть для сумм одинаково распределённых независимых бинарных величин.

См. также

• Аддитивный белый гауссовский шум
• Логнормальное распределение
• Центральная предельная теорема
• Двумерное нормальное распределение
• Многомерное нормальное распределение
• Статистический критерий
• Частотное распределение

Ссылки

• Таблица значений функции стандартного нормального распределения
• Онлайн расчёт вероятности нормального распределения

Литература

• Королюк В. С., Портенко Н. И.,Скороход А. В., Турбин А. Ф. Справочник по теории вероятностей и математической статистике. — М.: Наука, 1985. — 640 с.