Теорема Байеса

Теорема Байеса, Формула Байеса — одна из основных теорем элементарной теории вероятностей, которая позволяет определить вероятность того, что произошло какое-либо событие (гипотеза) при наличии лишь косвенных тому подтверждений (данных), которые могут быть неточны. Названа в честь ее автора, преп. Томаса Байеса (посвященная ей работа «An Essay towards solving a Problem in the Doctrine of Chances» впервые опубликована в 1763 году, через 2 года после смерти автора). Полученную по формуле вероятность можно далее уточнять, принимая во внимание данные новых наблюдений.

Психологические эксперименты показали, что люди при оценках вероятности игнорируют различие априорных вероятностей (ошибка базовой оценки), и потому правильные результаты, получаемые по теореме Байеса, могут очень отличаться от ожидаемых.

Формулировка

Формула Байеса: $P(A|B) = \frac{P(B | A)\, P(A)}{P(B)}$, где P(A) — априорная вероятность гипотезы A (смысл такой терминологии см. ниже); P(A | B) — вероятность гипотезы A при наступлении события B (апостериорная вероятность); P(B | A) — вероятность наступления события B при истинности гипотезы A; P(B) —полная вероятность наступления события B.

Вывод формулы  

Формула элементарно выводится из определения условной вероятности: $P(A|B) = \frac{P(AB)}{P(B)} \Rightarrow P(AB) = P(A|B)P(B) = P(B|A)P(A)$

«Физический смысл» и терминология

Формула Байеса позволяет «переставить причину и следствие»: по известному факту события вычислить вероятность того, что оно было вызвано данной причиной.

События, отражающие действие «причин», в данном случае обычно называют гипотезами, так как они — предполагаемые события, повлекшие данное. Безусловную вероятность справедливости гипотезы называют априорной (насколько вероятна причина вообще), а условную — с учетом факта произошедшего события — апостериорной (насколько вероятна причина оказалась с учетом данных о событии).

Следствие

Формула Байеса является важным следствием из формулы полной вероятности события, зависящего от нескольких несовместных гипотез (и только от них!).

$P(B)=\sum_{i=1}^N P(A_i)P(B|A_i)$ — вероятность наступления события B, зависящего от ряда гипотез A_i, если известны степени достоверности этих гипотез (например, измерены экспериментально);

Вывод формулы  

Если событие зависит только от причин A_i, то если оно произошло, значит, обязательно произошла какая-то из причин, т.е.

$\sum_i P(A_i|B) = 1\,$

По формуле Байеса

$\sum_i \frac{P(A_i)P(B|A_i)}{P(B)} = 1$

Переносом P(B) вправо получаем искомое выражение.

Пример

Событие B — машина не заводится, событие A — в баке нет бензина. Вероятность того, что машина не заведётся P(B) равна произведению вероятности того, что в баке нет бензина P(A) на вероятность P(B|A) того, что причиной события B стало именно отсутствие бензина (событие А), а не, к примеру, разряженный аккумулятор.

Пример расчёта

Пусть вероятность брака у первого рабочего p₁ = 0,9, у второго рабочего — p₂ = 0,5, а у третьего — p₃ = 0,2. Первый изготовил n₁ = 800 деталей, второй — n₂ = 600 деталей, а третий — n₃ = 900 деталей. Начальник цеха берёт случайную деталь, и она оказывается бракованной. Спрашивается, с какой вероятностью эту деталь изготовил третий рабочий?

Cобытие B — брак детали, событие A_i — деталь произвёл рабочий i. Тогда P(A_i) = n_i / N, где N = n₁ + n₂ + n₃, а P(B | A_i) = p_i. По формуле полной вероятности

$P(B)=\sum_i^3 P(B|A_i)P(A_i).$

По формуле Байеса получим:

$P(A_3|B)=\frac{P(B|A_3)P(A_3)}{P(B)}=\frac{P(B|A_3)P(A_3)}{P(B|A_1)P(A_1)+P(B|A_2)P(A_2)+P(B|A_3)P(A_3)}=$$=\frac{p_3 n_3/N}{p_1n_1/N+p_2n_2/N+p_3n_3/N}=\frac{0,2\cdot900}{0,9\cdot800+0,5\cdot600+0,2\cdot900}=0,15.$

Литература

• Гмурман В. Е. Теория вероятностей и математическая статистика, — М.: Высшее образование. 2005
• Берд Киви. Теорема преподобного Байеса. // Журнал «Компьютерра», 24 августа 2001 г.

См. также

• Байесовская фильтрация спама
• Байесовская сеть доверия
• Байесовская вероятность
• Некорректное априорное распределение
• Парадокс Монти Холла
• Парадокс закономерности
• Условная вероятность

Ссылки

• http://teorver-online.narod.ru/teorver10.html
• Теорема Байеса, eserv.ru