Байесовская вероятность

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Байесовская вероятность — это интерпретация понятия вероятности, используемая в байесовской теории. Вероятность определяется как степень уверенности в истинности суждения. Для определения степени уверенности в истинности суждения при получении новой информации в байесовской теории используется теорема Байеса.

История[править | править вики-текст]

Байесовская теория и байесовская вероятность названы в честь Томаса Байеса (1702—1761), доказавшего частный случай теоремы, сейчас называемой теоремой Байеса. Термин «байесовский» стал использоваться примерно в 1950 году, и большая часть того, что сейчас называется «байесовским», не имеет к Байесу прямого отношения. Лаплас доказал более общий случай теоремы Байеса и использовал ее для решения задач небесной механики, медицинской статистики и даже, по некоторым данным[источник не указан 1418 дней], юриспруденции. Лаплас, однако, не считал эту теорему важной для развития теории вероятностей. Он придерживался классического определения вероятности.

Франк Рамсей в работе The Foundations of Mathematics (1931) первым выдвинул идею об использовании субъективной уверенности для определения вероятности. Рамсей предложил это определение как дополнение к частотному определению, которое было более развито в то время. Статистик Бруно де Финетти в 1937 применил идеи Рамсея как альтернативу частотному определению. Леонард Сэвидж расширил эту идею в работе The Foundations of Statistics (1954).

Были попытки формального определения интуитивного понятия «степени уверенности». Наиболее общее определение основано на пари: степень уверенности отражается величиной ставки, которую человек готов поставить на то, что суждение истинно.

Варианты[править | править вики-текст]

Различные варианты байесовской интерпретации вероятности: субъективная вероятность и логическая вероятность.

Соотношение с частотной вероятностью[править | править вики-текст]

Байесовская вероятность противопоставляется частотной, в которой вероятность определяется относительной частотой появления случайного события при достаточно длительных наблюдениях.

Теория вероятности и статистики, основанная на частотной вероятности была разработана Р. А. Фишером, Э. Пирсоном и Е. Нейманом в первой половине XX века. А. Колмогоров также использовал частотную интерпретацию при описании своей аксиоматики, основанной на интеграле Лебега.

Разница между байесовской и частотной интерпретацией играет важную роль в практической статистике. Например, при сравнении двух гипотез на одних и тех же данных, теория проверки статистических гипотез, основанная на частотной интерпретации, позволяет отвергать или не отвергать модели-гипотезы. При этом адекватная модель может быть отвергнута из-за того, что на этих данных кажется адекватнее другая модель. Байесовские методы, напротив, в зависимости от входных данных выдают апостериорную вероятность быть адекватной для каждой из моделей-гипотез.

Применение[править | править вики-текст]

Начиная с 1950-х годов, байесовская теория и байесовская вероятность широко применяется за счет, например, теоремы Кокса и принципа максимальной энтропии. Для многих[каких?] задач байесовские методы дают лучший результат, нежели методы, основанные на частотной вероятности.

Байесовская теория используется как метод адаптации существующих вероятностей к вновь полученным экспериментальным данным.

Байесовская теория используется для построения интеллектуальных фильтров, используемых, например, для фильтрации спама-писем из электронной почты.

Вероятности вероятностей[править | править вики-текст]

Неприятная деталь, связанная с использованием байесовской вероятности в том, что задания вероятности недостаточно для того, чтобы понять ее природу. Рассмотрим следующие ситуации:

  1. У вас есть коробка с черными и белыми шарами и никакой информации относительно их количества.
  2. У вас есть коробка с черными и белыми шарами. Вы вытащили наудачу n шаров, ровно половина из них оказались черными.
  3. У вас есть коробка с черными и белыми шарами и вы знаете, что ровно половина из них — черные.

Байесовская вероятность «вытащить следующим черный шар» в каждом из этих случаев равна 0.5. Кейнс назвал это проблемой «степени уверенности». Эту проблему можно решить, введя вероятность вероятности (так называемую, мета-вероятность).

1. Предположим, у вас есть коробка с черными и белыми шарами и никакой информации относительно того, сколько в ней шаров какого цвета.
Пусть \theta = p — это утверждение о том, что вероятность вытащить следующим черный шар равна p, тогда распределение вероятности будет бета-распределением:
\forall \theta \in [0,1]
f(\theta) = \Beta(\alpha_B=1,\alpha_W=1) = \frac{\Gamma(\alpha_B + \alpha_W)}{\Gamma(\alpha_B)\Gamma(\alpha_W)}\theta^{\alpha_B-1}(1-\theta)^{\alpha_W-1} = \frac{\Gamma(2)}{\Gamma(1)\Gamma(1)}\theta^0(1-\theta)^0=1
Предполагая, что вытягивания шаров независимы и равновероятны, распределение вероятности P(\theta|m,n), после вытягивания m черных шаров и n белых шаров также будет Бета-распределением с параметрами \alpha_B=1+m, \alpha_W=1+n.
2. Предположим, что вы вытащили из коробки n шаров, половина из них оказались черными, а остальные — белыми.
В этом случае распределение вероятности \theta = p будет бета-распределением \Beta(\frac{n}{2}+1, \frac{n}{2}+1). Максимальное апостериорное ожидание \theta равно \theta_{MAP}=\frac{\frac{n}{2}+1}{n+2}=0.5.
3. Вы знаете, что ровно половина шаров — черные, а остальные — белые.
В этом случае вероятность равна 0.5 с вероятностью 1: f(\theta)=\delta(\theta-0.5).

См. также[править | править вики-текст]

Ссылки[править | править вики-текст]