Теория Демпстера — Шафера

Демпстера-Шафера теория — математическая теория очевидностей (свидетельств) ([SH76]), основанная на функции доверия (belief functions) и функции правдоподобия (plausible reasoning), которые используются, чтобы скомбинировать отдельные части информации (свидетельства) для вычисления вероятности события. Теория была развита Артуром П. Демпстером (Arthur P. Dempster) и Гленном Шафером (Glenn Shafer).

Рассмотрим двух возможных игроков

Первая игра — подбрасывание монеты, где ставки делаются на то, выпадет орел или решка. Теперь представим вторую игру, в которой ставки принимаются на исход боя между лучшим в мире боксером и лучшим в мире борцом. Предположим, мы несведущи в боевых искусствах, и нам весьма трудно определиться на кого ставить.

Многие люди будут менее уверены в ситуации второй игры, в которой вероятности неизвестны, чем в первой игре, где легко увидеть, что вероятность каждого исхода равна половине. В случае второй игры, Байесовская теория присвоит каждому исходу половинную вероятность, вне зависимости от информации, делающей один из исходов более вероятным, чем другой. Теория Демпстера-Шафера позволяет определить степень уверенности, которую имеет игрок, относительно вероятностей присвоенных различным исходам.

Формализм

Пусть $X\,\!$ — универсальное множество, набор всех рассматриваемых утверждений. Показательное множество, $P(X)\,\!$, совокупность всех подмножеств множества $X\,\!$, включая пустое множество, $\emptyset$. Например, если:

$X = \left \{ a, b \right \} \,\!$

то

$P(X) = \left \{ \emptyset, \left \{ a \right \}, \left \{ b \right \}, X \right \} \,\!$

По определению, масса пустого множества — ноль:

$m(\emptyset) = 0 \,\!$

Массы оставшихся элементов показательного множества нормированы на единичную сумму:

$1 = \sum_{A \in P(X)} m(A) \,\!$

Масса $m(A) \,\!$ элемента показательного множества, $A\,\!$, выражает соотношение всех уместных и доступных свидетельств, которые поддерживают утверждение, что определенный элемент $X\,\!$ принадлежит $A\,\!$ но не принадлежит ни одному подмножетсву $A\,\!$. Величина $m(A)\,\!$ относится только к множеству $A\,\!$ и не создает никаких дополнительных утверждений о других подмножествах $A\,\!$, каждое из которых, по определению, имеет свою собственную массу.

Исходя из приписаных масс, могут быть определены верхняя и нижняя границы интервала возможностей. Этот интервал содержит точную величину вероятности рассматриваемого подмножетсва (в классическом смысле), и ограничена двумя неаддитивными непрерывными мерами, называеыми доверие (belief) (or поддержка (support)) and правдоподобие (plausibility):

$bel(A) \le P(A) \le pl(A)\,\!$

Доверие $bel(A)\,\!$ к множеству $A\,\!$ определяется как сумма всех масс собственных подмножеств рассматривеаемого множества:

$bel(A) = \sum_{B \mid B \subseteq A} m(B)$

Правдоподобие $pl(A)\,\!$ — это сумма масс всех множеств $B\,\!$ пересекающихся с рассматриваемым множеством $A\,\!$:

$pl(A) = \sum_{B \mid B \cap A \ne \emptyset} m(B)$

Эти две меры соотносятся между собой следующим образом:

$pl(A) = 1 - bel(\overline{A})\,\!$

Из вышенаписанного следует, что достаточно знать хотя бы одну из мер (массу, доверие или правдоподобие), чтобы вычислить оставшиеся две.

Рассмотрим проблему объединения двух независимых множеств приписанных масс. Исходное правило объединения известное как Dempster's rule of combination является обобщением Bayes' rule. Это правило придает особое значение согласию между многочисленными источниками и игнорирует все конфликтующие свидетельства с помощью нормализации. Правомерность использования этого правила подвергается серьёзным сомнениям в случае значительных несоответствий между источниками информации.

Собственно, объединение (называемое присоединенная маса) вычисляется из двух множеств масс $m_1\,\!$ и $m_2\,\!$ следующим образом:

$m_{1,2}(\emptyset) = 0 \,\!$

$m_{1,2}(A) = \frac {1}{1 - K} \sum_{B \cap C = A \ne \emptyset} m_1(B) m_2(C) \,\!$

где:

$K = \sum_{B \cap C = \emptyset} m_1(B) m_2(C) \,\!$

$K\,\!$ является мерой конфликта между двумя наборами масс. Нормализирующий множитель, $1-K\,\!$, соответствует полному игнорированию несоответствий и приписыванию любой массе, соответствующей конфликту, пустого множества. Следовательно, эта операция приводит к контринтуитивным результатам в случае значительного конфликта при определенных обстоятельствах.

Дискуссия

Доверие и правдоподобность

Шаферовский подход позволяет интерпретировать доверие и правдоподобие как границы интервала возможного значения истинности гипотезы:

доверие ≤ какая-то мера истинности ≤ правдоподобие.

Полагается, что:

Доверие к гипотезе = {сумма масс свидетельств, однозначно поддерживающих гипотезу}.

Правдоподобие = 1 − {сумма масс всех свидетельств, противоречащих гипотезе}.

Например, пусть у нас есть гипотеза «кот в коробке мертв.» Если для нее доверие 0.5 и правдоподобие 0.8, то это значит, что у нас есть свидетельства (общей массой 0.5) однозначно указывающие, что кот мертв; но имеются и свидетельстве (общей массой 0.2), однозначно указывающие, что кот жив (правдоподобие «кот мертв» = 1 — 0.2 = 0.8). Оставшаяся масса (дополняющая 0.5 и 0.2 до 1.0) — она же зазор между правдоподобием 0.8 и доверием 0.5 — соответствует «неопределенности» ("универсальной" гипотезе), наличию свидетельств, что кот в коробке точно есть, но не говорящих ничего о том, жив он, или мертв.

Итого, интервал [0.5; 0.8] характеризует неопределенность истинности исходной гипотезы исходя из имеющихся свидетельств.

Гипотеза	Масса	Доверие	Правдоподобие
Нулевая (нет кота)	0	0	0
Жив	0.2	0.2	0.5
Мертв	0.5	0.5	0.8
Универсальная (то ли жив, то ли мертв)	0.3	1.0	1.0

Масса "нулевой" гипотезы устанавливается равной 0 по определению (она соответствует случаям «нет решения» или неразрешимому противоречию между свидетельствами). Эти приводит к тому, что доверие к "нулевой" гипотезе равно 0, а правдоподобие "универсальной" 1. Так как масса "универсальной" гипотезы вычисляется из масс гипотез "Жив" и "Мертв", то её доверие автоматически получается равно 1, а правдоподобие "нулевой" гипотезы 0.

Возьмем несколько более сложный пример, демонстрирующий особенности доверия и правдоподобия. Допустим, мы с помощью набора детекторов регистрируем единичный далекий сигнальный огонь, который может быть одного из трех цветов (красный, желтый, либо зелёный):

Гипотеза	Масса	Доверие	Правдоподобие
Нулевая	0	0	0
Красный	0.35	0.35	0.56
Желтый	0.25	0.25	0.45
Зеленый	0.15	0.15	0.34
Красный или Желтый	0.06	0.66	0.85
Красный или Зеленый	0.05	0.55	0.75
Желтый или Зеленый	0.04	0.44	0.65
Универсальная	0.10	1.00	1.00

где, например:

Доверие(Красный или Желтый) = Масса("Нулевая" гипотеза) + Масса(Красный) + Масса(Желтый) + Масса(Красный или Желтый) = 0 + 0.35 + 0.25 + 0.06 = 0.66

Правдоподобие(Красный или Желтый) = 1 - Доверие(отрицание "Красный или Желтый") = 1 - Доверие(Зеленый) = 1 - Масса("Нулевая" гипотеза) - Масса(Зеленый) = 1 - 0 - 0.15 = 0.85

События данного набора не должны рассматриваться как пересечение событий в вероятностном пространстве, так как они заданы в пространстве масс. Правильнее рассматривать событие «Красный или Желтый» как объединение событий «Красный» и «Желтый», и (см. аксиомы теории вероятностей) P(Красный или Желтый) ≥ P(Желтый), и P(Универсальная)=1, где «Универсальная» гипотеза соответствует «Красный», «Желтый» или «Зеленый». В ТДШ, масса «Универсальной» гипотезы соответствует части свидетельств, которые не могут быть отнесены к какой-либо другой гипотезе; то есть свидетельства, которые утверждают, что какой-то сигнал был, но совершенно не говорят о его цвете.

В этом примере, свидетельствам «Красный или Зеленый» приписана масса 0.05. Такие свидетельства могли бы быть получены, например, от людей со слепотой к Красному/Зеленому. ТДШ позволяет нам взвешено учесть такие свидетельства.

Литература

• [DE68] Dempster, Arthur P.; A generalization of Bayesian inference, Journal of the Royal Statistical Society, Series B, Vol. 30, pp. 205-247, 1968
• [SH76] Shafer, Glenn; A Mathematical Theory of Evidence, Princeton University Press, 1976
• [SH02] Shafer, Glenn; Dempster-Shafer theory, 2002

См. также

• Теория возможностей
• Теория вероятностей
• Теорема Байеса
• Байесовская сеть доверия
• Эвентология
• Нечёткая логика