Перекрёстная энтропия

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

В теории информации перекрёстная энтропия между двумя распределениями вероятностей измеряет среднее число бит, необходимых для опознания события из набора возможностей, если используемая схема кодирования базируется на заданном распределении вероятностей q, вместо «истинного» распределения p.

Перекрестная энтропия для двух распределений p и q над одним и тем же вероятностным пространством определяется следующим образом:

\mathrm{H}(p, q) = \mathrm{E}_p[-\log q] = \mathrm{H}(p) + D_{\mathrm{KL}}(p \| q)\!,

где H(p)энтропия p, и D_{\mathrm{KL}}(p || q)Расстояние Кульбака — Лейблера от q до p (также известная как относительная энтропия).

Для дискретного p и q это означает

\mathrm{H}(p, q) = -\sum_x p(x)\, \log q(x). \!

Ситуация для непрерывного распределения аналогично:

\mathrm{H}(p, q) = -\int\limits_X p(x)\, \log q(x)\, dx. \!

NB: Запись \mathrm{H}(p,q) иногда используется как для перекрёстной энтропии, так и для совместной энтропии p и q.

Минимизация перекрёстной энтропии[править | править вики-текст]

Минимизация перекрёстной энтропии часто используется в оптимизации и для оценки вероятностей редких событий.


См. также[править | править вики-текст]