Нормальное распределение

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску
Нормальное распределение
Плотность нормального распределения
Зеленая линия соответствует стандартному нормальному распределениюПлотность вероятности
Функция распределения нормального распределения
Цвета на этом графике соответствуют графику наверхуФункция распределения
Обозначение
Параметры μ — коэффициент сдвига (вещественный)
σ > 0 — коэффициент масштаба (вещественный, строго положительный)
Носитель
Плотность вероятности
Функция распределения
Математическое ожидание
Медиана
Мода
Дисперсия
Коэффициент асимметрии
Коэффициент эксцесса
Дифференциальная энтропия
Производящая функция моментов
Характеристическая функция

Норма́льное распределе́ние[1][2], также называемое распределением Гаусса или Гаусса — Лапласа[3], или колоколообразная кривая — непрерывное распределение вероятностей с пиком в центре и симметричными боковыми сторонами, которое в одномерном случае задаётся функцией плотности вероятности, совпадающей с функцией Гаусса:

,
где параметр  — математическое ожидание (среднее значение), медиана и мода распределения, а параметр  — среднеквадратическое отклонение,  — дисперсия распределения.

Таким образом, одномерное нормальное распределение является двухпараметрическим семейством распределений, которое принадлежит экспоненциальному классу распределений[4]. Многомерный случай описан в статье «Многомерное нормальное распределение».

Стандартным нормальным распределением называется нормальное распределение с математическим ожиданием и стандартным отклонением

Общие сведения[править | править код]

Если величина является суммой многих случайных слабо взаимозависимых величин, каждая из которых вносит малый вклад относительно общей суммы, то центрированное и нормированное распределение такой величины при достаточно большом числе слагаемых стремится к нормальному распределению.

Это следует из центральной предельной теоремы теории вероятностей. В окружающем нас мире часто встречаются величины, значение которых определяется совокупностью многих независимых факторов. Этот факт, а также то, что распределение считалось типичным, обычным, привели к тому, что в конце XIX века стал использоваться термин «нормальное распределение». Нормальное распределение играет заметную роль во многих областях науки, например в математической статистике и статистической физике.

Случайная величина, имеющая нормальное распределение, называется нормальной, или гауссовской, случайной величиной.

Определения[править | править код]

Стандартное нормальное распределение[править | править код]

Наиболее простой случай нормального распределения — стандартное нормальное распределение — частный случай, когда и Его плотность вероятности равна:

Множитель в выражении обеспечивает условие нормировки интеграла [5]. Поскольку множитель в экспоненте обеспечивает дисперсию равную единице, то и стандартное отклонение равно 1. Функция симметрична в точке её значение в ней максимально и равно Точки перегиба функции: и

Гаусс называл стандартным нормальным распределение с то есть:

Нормальное распределение с параметрами μ, σ[править | править код]

Каждое нормальное распределение — это вариант стандартного нормального распределения, область значений которого растягивается множителем (стандартное отклонение) и переносится на (математическое ожидание):

являются параметрами нормального распределения. Плотность вероятности должна нормироваться так что интеграл равен 1.

Если  — стандартная нормальная случайная величина, то величина будет иметь нормальное распределение с математическим ожиданием и стандартным отклонением Наоборот, если  — нормальная величина с параметрами и то будет иметь стандартное нормальное распределение.

Если в экспоненте плотности вероятности раскрыть скобки и учитывать, что , то:

Таким образом, плотность вероятности каждого нормального распределения представляет собой экспоненту квадратичной функции:

где

Отсюда можно выразить среднее значение как а дисперсию как Для стандартного нормального распределения и

Обозначение[править | править код]

Плотность вероятности стандартного нормального распределения (с нулевым средним и единичной дисперсией) часто обозначается греческой буквой (фи)[6]. Также достаточно часто используется альтернативное начертание греческой буквы фи .

Нормальное распределение часто обозначается или [7]. Если случайная величина распределена по нормальному закону со средним и вариацией то пишут:

Функция распределения[править | править код]

Функция распределения стандартного нормального распределения (нормальное интегральное распределение) обычно обозначается заглавной греческой буквой (фи), в России называется функцией Лапласа и представляет собой интеграл:

С ней связана функция ошибок (интеграл вероятности) дающий вероятность того, что нормальная случайная величина со средним 0 и вариацией 1/2 попадёт в отрезок :

Эти интегралы не выражаются в элементарных функциях и называются специальными функциями. Многие их численные приближения известны. См. ниже.

Функции связаны, в частности, соотношением:

.

Нормальное распределение с плотностью средним и отклонением имеет следующую функцию распределения:

Можно использовать функцию  — она даст вероятность того, что значение стандартной нормальной случайной величины превысит :

.

График стандартной нормальной функции распределения имеет 2-кратную вращательную симметрию относительно точки (0;1/2), то есть Её неопределенный интеграл равен:

Функция распределения стандартной нормальной случайной величины может быть разложена с помощью метода интегрирования по частям в ряд:

где знак означает двойной факториал.

Асимптотическое разложение функции распределения для больших может быть также произведено интегрированием по частям.

Стандартное отклонение[править | править код]

Правило 68-95-99,7.
Для нормального распределения количество значений, отличающихся от среднего на число, меньшее чем одно стандартное отклонение, составляют 68,27 % выборок. В то же время количество значений, отличающиеся от среднего на два стандартных отклонения, составляют 95,45 %, а на три стандартных отклонения — 99,73 %.

Около 68 % значений из нормального распределения находятся на расстоянии не более одного стандартного отклонения σ от среднего; около 95 % значений лежат расстоянии не более двух стандартных отклонений; и 99,7 % не более трёх. Этот факт является частным случаем правила 3 сигм для нормальной выборки.

Более точно, вероятность получить нормальное число в интервале между и равна:

С точностью до 12 значащих цифр значения для приведены в таблице[8]:

OEIS
1 0,682689492137 0,317310507863
3,15148718753
A178647
2 0,954499736104 0,045500263896
21,9778945080
A110894
3 0,997300203937 0,002699796063
370,398347345
A270712
4 0,999936657516 0,000063342484
15787.1927673
5 0,999999426697 0,000000573303
1744277,89362
6 0,999999998027 0,000000001973
506797345,897

Свойства[править | править код]

Моменты[править | править код]

Моментами и абсолютными моментами случайной величины называются математические ожидания случайных величин и соответственно. Если математическое ожидание случайной величины то эти параметры называются центральными моментами. В большинстве случаев представляют интерес моменты для целых

Если имеет нормальное распределение, то для неё существуют (конечные) моменты при всех с действительной частью больше −1. Для неотрицательных целых центральные моменты таковы:

Здесь  — натуральное число, а запись означает двойной факториал числа то есть (поскольку в данном случае нечётно) произведение всех нечётных чисел от 1 до

Центральные абсолютные моменты для неотрицательных целых таковы:

Последняя формула справедлива также для произвольных .

Преобразование Фурье и характеристическая функция[править | править код]

Преобразование Фурье нормальной плотности вероятности с математическим ожиданием стандартным отклонением равно[9]:

где есть мнимая единица.

Если математическое ожидание то первый множитель равен 1, и преобразование Фурье, с точностью до константы есть нормальная плотность вероятности на частотных интервалах, с математическим ожиданием равным 0 и стандартным отклонением В частности, стандартное нормальное распределение есть собственная функция от преобразования Фурье.

В теории вероятности, преобразование Фурье плотности распределения действительной случайной величины близко связано с характеристической функцией этой величины, которая определена как математическое ожидание от и является функцией вещественной переменной (частотный параметр преобразования Фурье). Определение может быть распространено и на комплексную переменную [10]. Соотношение записывается так:

Бесконечная делимость[править | править код]

Нормальное распределение является бесконечно делимым.

Если случайные величины и независимы и имеют нормальное распределение с математическими ожиданиями и и дисперсиями и соответственно, то также имеет нормальное распределение с математическим ожиданием и дисперсией

Отсюда вытекает, что нормальная случайная величина представима как сумма произвольного числа независимых нормальных случайных величин.

Максимальная энтропия[править | править код]

Нормальное распределение имеет максимальную дифференциальную энтропию среди всех непрерывных распределений, дисперсия которых не превышает заданную величину[11][12].

Правило трёх сигм для гауссовской случайной величины[править | править код]

График плотности вероятности нормального распределения и процент попадания случайной величины на отрезки, равные среднеквадратическому отклонению.

Правило трёх сигм () — практически все значения нормально распределённой случайной величины лежат в интервале:

где  — математическое ожидание и параметр нормальной случайной величины.

Более точно — приблизительно с вероятностью 0,9973 значение нормально распределённой случайной величины лежит в указанном интервале.

Моделирование нормальных псевдослучайных величин[править | править код]

При компьютерном моделировании, особенно при применении метода Монте-Карло, желательно использовать величины, распределенные по нормальному закону. Многие алгоритмы дают стандартные нормальные величины, так как нормальную величину можно получить как:

где Z — стандартная нормальная величина.

Алгоритмы также используют различные преобразования равномерных величин. Простейшие приближённые методы моделирования основываются на центральной предельной теореме. Если сложить достаточно большое количество независимых одинаково распределённых величин с конечной дисперсией, то сумма будет иметь распределение, близкое к нормальному. Например, если сложить 100 независимых стандартно равномерно распределённых случайных величин, то распределение суммы будет приближённо нормальным.

Для программного генерирования нормально распределённых псевдослучайных величин предпочтительнее использовать преобразование Бокса — Мюллера. Оно позволяет генерировать одну нормально распределённую величину на базе одной равномерно распределённой.

Также существует алгоритм Зиккурат, который работает даже быстрее преобразования Бокса — Мюллера. Тем не менее, сложнее в реализации, но его применение оправдано в случаях, когда требуется генерирование очень большого числа неравномерно распределённых случайных чисел.

Нормальное распределение в природе и приложениях[править | править код]

Нормальное распределение часто встречается в природе. Например, следующие случайные величины хорошо моделируются нормальным распределением:

  • отклонение при стрельбе;
  • погрешности измерений (однако погрешности некоторых измерительных приборов имеют иное распределение);
  • некоторые характеристики живых организмов в популяции.

Такое широкое распространение этого распределения связано с тем, что оно является бесконечно делимым непрерывным распределением с конечной дисперсией. Поэтому к нему в пределе приближаются некоторые другие, например биномиальное и пуассоновское. Этим распределением моделируются многие недетерминированные физические процессы[13].

Многомерное нормальное распределение используется при исследовании многомерных случайных величин (случайных векторов). Одним из многочисленных примеров таких приложений является исследование параметров личности человека в психологии и психиатрии.

Связь с другими распределениями[править | править код]

  • Нормальное распределение является распределением Пирсона типа XI[14].
  • Отношение пары независимых стандартных нормально распределенных случайных величин имеет распределение Коши[15]. То есть, если случайная величина представляет собой отношение (где и  — независимые стандартные нормальные случайные величины), то она будет обладать распределением Коши.
  • Если  — совместно независимые стандартные нормальные случайные величины, то есть то случайная величина имеет распределение хи-квадрат с k степенями свободы.
  • Если случайная величина подчинена логнормальному распределению, то её натуральный логарифм имеет нормальное распределение. То есть, если то И наоборот, если то
  • Если независимые нормально распределенные случайные величины с математическими ожиданиями и дисперсиями то их выборочное среднее независимо от выборочного стандартного отклонения[16], а отношение следующих двух величин будет иметь t-распределение с степенями свободы:
  • Если независимые стандартные нормальные случайные величины, то отношение нормированных сумм квадратов будет иметь распределение Фишера с ( ) степенями свободы[17]:
  • Отношение квадратов двух стандартных нормальных случайных величин имеет распределение Фишера со степенями свободы

История[править | править код]

Впервые нормальное распределение как предел биномиального распределения при появилось в 1738 году во втором издании работы Муавра «Доктрина случайностей»[en][18]. Это было первое доказательство частного случая центральной предельной теоремы. В 1809 году Гаусс в сочинении «Теория движения небесных тел» ввёл это распределение как возникающее в результате многократных измерений движения небесных тел. Однако Гаусс вывел формулу для действительных случайных величин из принципа достижения максимума совместной плотности всех измерений в точке с координатами, равными среднему всех измерений. Этот принцип впоследствии подвергался критике. В 1812 году Лаплас в теореме Муавра — Лапласа обобщил результат Муавра для произвольного биномиального распределения, то есть для сумм одинаково распределённых независимых бинарных величин[3].

См. также[править | править код]

Примечания[править | править код]

  1. Вентцель Е. С. Теория вероятностей. — 10-е изд., стереотипное.. — М.: Academia, 2005. — 576 с. — ISBN 5-7695-2311-5.
  2. Ширяев А. Н. Вероятность. — М.: Наука, 1980.
  3. 1 2 Математический энциклопедический словарь. — М.: Советская энциклопедия, 1988. — С. 139—140.
  4. Wasserman L. All of Statistics. — New York, NY: Springer, 2004. — С. 142. — 433 с. — ISBN 978-1-4419-2322-6.
  5. Доказательство см. Гауссов интеграл
  6. Halperin, Hartley & Hoel, 1965, item 7.
  7. McPherson (1990)
  8. Wolfram|Alpha: Computational Knowledge Engine. Wolframalpha.com. Дата обращения: 3 марта 2017.
  9. Bryc (1995, p. 23)
  10. Bryc (1995, p. 24)
  11. Cover, Thomas M.; Thomas, Joy A. Elements of Information Theory. — John Wiley and Sons, 2006. — С. 254.
  12. Park, Sung Y.; Bera, Anil K. Maximum Entropy Autoregressive Conditional Heteroskedasticity Model (англ.) // Journal of Econometrics  (англ.) : journal. — Elsevier, 2009. — P. 219—230. Архивировано 7 марта 2016 года.
  13. Талеб Н. Н. Чёрный лебедь. Под знаком непредсказуемости = The Black Swan: The Impact of the Highly Improbable. — КоЛибри, 2012. — 525 с. — ISBN 978-5-389-00573-0.
  14. Королюк, 1985, с. 135.
  15. Галкин В. М., Ерофеева Л. Н., Лещева С. В. Оценки параметра распределения Коши : [арх. 30 июля 2017] // Труды Нижегородского государственного технического университета им. Р. Е. Алексеева. — 2014. — № 2(104). — С. 314—319. — УДК 513.015.2(G).
  16. Lukacs, Eugene. A Characterization of the Normal Distribution (англ.) // The Annals of Mathematical Statistics  (англ.) : journal. — 1942. — Vol. 13, no. 1. — P. 91—3. — ISSN 0003-4851. — doi:10.1214/aoms/1177731647. — JSTOR 2236166.
  17. Lehmann, E. L.ruen. Testing Statistical Hypotheses. — 2nd. — Springer  (англ.), 1997. — С. 199. — ISBN 978-0-387-94919-2.
  18. The doctrine of chances; or, a method of calculating the probability of events in play, L., 1718, 1738, 1756; L., 1967 (репродуцир. изд.); Miscellanea analytica de scriebus et quadraturis, L., 1730.

Литература[править | править код]

Ссылки[править | править код]