Расстояние Кульбака — Лейблера

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Расстояние (дивергенция) Ку́льбака — Ле́йблера (информационная дивергенция,относительная энтропия) в теории информации — это несимметричная мера удаленности друг от друга двух вероятностных распределений[1]. Обычно одно из сравниваемых распределений — это «истинное» распределение (распределение p в примерах ниже), второе — предполагаемое (проверяемое), являющееся приближением первого (распределение q в примерах ниже). Следует заметить, что основание логарифма в следующих формулах, подобно ситуации с измерением энтропии, определяет единицу измерения дивергенции, поэтому возможно применение не только натурального логарифма. Данная мера расстояния в теории информации может интерпретироваться как величина потерь информации при замене истинного распределения p на распределение q.

Дискретные распределения[править | править вики-текст]

Пусть даны две дискретные случайные величины X,Y, принимающие значения в одном множестве \mathcal{X} \subset \mathbb{R}, и их распределения задаются функциями вероятности p и q соответственно. Тогда расстояние Кульбака — Лейблера D_{KL} задаётся формулой:

D_{KL}(p, q) = \sum\limits_{x\in \mathcal{X}} p(x) \ln \frac{p(x)}{q(x)}.

Непрерывные распределения[править | править вики-текст]

Пусть теперь даны две абсолютно непрерывные случайные величины X,Y, и их распределения задаются плотностями вероятности p и q соответственно. Тогда расстояние Кульбака — Лейблера D_{KL} задаётся формулой:

D_{KL}(p, q) = \int\limits_{-\infty}^{\infty} p(x) \ln \frac{p(x)}{q(x)}\, dx.

Свойства[править | править вики-текст]

  • Расстояние Кульбака — Лейблера, вообще говоря, не симметрично, то есть
D_{KL}(p,q) \neq D_{KL}(q,p).

В частности, оно не является метрикой на пространстве распределений.

Пример использования[править | править вики-текст]

Пусть по выборке x_1, x_2, ..., x_n из распределения некоторой случайной величины требуется восстановить плотность её распределения, заданную в виде параметрического семейства f(x,\theta), где x \in X \subseteq R - аргумент функции, \theta - неизвестный параметр. Оценка параметра \theta может быть найдена как решение задачи минимизации расстояния Кульбака — Лейблера между плотностью f(x,\theta) и эмпирической плотностью распределения, считающейся «истинной»,

\hat{f}(x)=\frac{1}{n}\sum\limits_{i=1}^n \mathbf\delta(x-x_i),

где \delta - функция Дирака:

\hat{\theta}=\operatorname{arg} \underset{\theta}{\operatorname{min}} D_{KL}(\hat{f}(x), f(x,\theta))=\operatorname{arg} \underset{\theta}{\operatorname{max}}\int\limits_{X}^{} \hat{f}(x) \ln f(x,\theta)\, dx=\operatorname{arg} \underset{\theta}{\operatorname{max}}\sum\limits_{i=1}^n \mathbf \ln f(x_i,\theta).

Нетрудно видеть, что решение этой задачи приводит к оценке максимального правдоподобия для параметра \theta. В случае если фактическая плотность распределения случайной величины не принадлежит семейству f(x,\theta), найденная оценка \hat{\theta} параметра \theta называется квазиправдоподобной и обеспечивает наилучшую аппроксимацию фактического распределения, представленного выборкой, среди распределений с плотностями f(x,\theta) с точки зрения расстояния Кульбака — Лейблера.

Примечания[править | править вики-текст]

  1. Kullback S., Leibler R.A. On information and sufficiency // The Annals of Mathematical Statistics. 1951. V.22. № 1. P. 79-86.