Теорема Байеса

Теорема Байеса (или формула Байеса) — одна из основных теорем теории вероятностей, которая позволяет определить вероятность того, что произошло какое-либо событие (гипотеза) при наличии лишь косвенных тому подтверждений (данных), которые могут быть неточны. Названа в честь её автора, преп. Томаса Байеса (посвящённая ей работа «An Essay towards solving a Problem in the Doctrine of Chances» впервые опубликована в 1763 году, через 2 года после смерти автора). Полученную по формуле вероятность можно далее уточнять, принимая во внимание данные новых наблюдений.

Психологические эксперименты показали, что люди, при оценках вероятности, игнорируют различие априорных вероятностей (ошибка обоснования оценки (англ.)русск.), и потому результаты по формуле Байеса и правильные результаты могут сильно отличаться от ожидаемых.

Формулировка

Формула Байеса: $P(A|B) = \frac{P(B | A)\, P(A)}{P(B)}$, где $P(A)$ — априорная вероятность гипотезы A (смысл такой терминологии см. ниже); $P(A|B)$ — вероятность гипотезы A при наступлении события B (апостериорная вероятность); $P(B|A)$ — вероятность наступления события B при истинности гипотезы A; $P(B)$ — полная вероятность наступления события B.

Вывод формулы  

Формула элементарно выводится из определения условной вероятности: $P(A|B) = \frac{P(AB)}{P(B)} \Rightarrow P(AB) = P(A|B)P(B) = P(B|A)P(A)$

«Физический смысл» и терминология

Формула Байеса позволяет «переставить причину и следствие»: по известному факту события вычислить вероятность того, что оно было вызвано данной причиной.

События, отражающие действие «причин», в данном случае обычно называют гипотезами, так как они — предполагаемые события, повлекшие данное. Безусловную вероятность справедливости гипотезы называют априорной (насколько вероятна причина вообще), а условную — с учетом факта произошедшего события — апостериорной (насколько вероятна причина оказалась с учетом данных о событии).

Следствие

Формула Байеса является важным следствием из формулы полной вероятности события, зависящего от нескольких несовместных гипотез (и только от них!).

$P(B)=\sum_{i=1}^N P(A_i)P(B|A_i)$ — вероятность наступления события B, зависящего от ряда гипотез $A_i$, если известны степени достоверности этих гипотез (например, измерены экспериментально);

Вывод формулы  

Если событие зависит только от причин $A_i$, то если оно произошло, значит, обязательно произошла какая-то из причин, т.е.

$\sum_i P(A_i|B) = 1\,$

По формуле Байеса

$\sum_i \frac{P(A_i)P(B|A_i)}{P(B)} = 1$

Переносом $P(B)$ вправо получаем искомое выражение.

Пример

Событие B — в баке нет бензина, событие A — машина не заводится. Заметим, что вероятность Р(А|В) того, что машина не заведется, если в баке нет бензина, равняется единице. Тем самым, вероятность Р(В) того, что в баке нет бензина, равна произведению вероятности Р(А) того, что машина не заводится, на вероятность P(B|A) того, что причиной события А стало именно отсутствие бензина (событие В), а не, к примеру, разряженный аккумулятор.

Пример расчёта

Пусть вероятность брака у первого рабочего $p_1=0{,}9$, у второго рабочего — $p_2=0{,}5$, а у третьего — $p_3=0{,}2$. Первый изготовил $n_1 = 800$ деталей, второй — $n_2=600$ деталей, а третий — $n_3=900$ деталей. Начальник цеха берёт случайную деталь, и она оказывается бракованной. Спрашивается, с какой вероятностью эту деталь изготовил третий рабочий?

Cобытие $B$ — брак детали, событие $A_i$ — деталь произвёл рабочий $i$. Тогда $P(A_i)=n_i/N$, где $N=n_1+n_2+n_3$, а $P(B|A_i)=p_i$. По формуле полной вероятности

$P(B)=\sum_{i=1}^3 P(B|A_i)P(A_i).$

По формуле Байеса получим:

$P(A_3|B)=\frac{P(B|A_3)P(A_3)}{P(B)}=\frac{P(B|A_3)P(A_3)}{P(B|A_1)P(A_1)+P(B|A_2)P(A_2)+P(B|A_3)P(A_3)}=$$=\frac{p_3 n_3/N}{p_1n_1/N+p_2n_2/N+p_3n_3/N}=\frac{0{,}2\cdot900/2300}{0{,}9\cdot800/2300+0{,}5\cdot600/2300+0{,}2\cdot900/2300}=0{,}15.$

См. также

• Байесовская фильтрация спама
• Байесовская сеть доверия
• Байесовская вероятность
• Некорректное априорное распределение
• Парадокс Монти Холла
• Парадокс закономерности

Литература

• Гмурман В. Е. Теория вероятностей и математическая статистика, — М.: Высшее образование. 2005
• Берд Киви. Теорема преподобного Байеса. // Журнал «Компьютерра», 24 августа 2001 г.
• Judgment under Uncertainty: Heuristics and Biases / Daniel Kahneman, et al. — 21st. — Cambridge University Press, 2005. — 555 p. — ISBN 978-0-521-28414-1