Расстояние Итакуры — Сайто

Расстояние Итакуры — Сайто (дивергенция Итакуры — Сайто) — мера разности между оригинальным спектром $P(\omega )$ и его приближением ${\hat {P}}(\omega )$; предложена 1960-х годах сотрудниками NTT Фумитадой Итакурой и Сюдзо Сайто.

Определяется как:

$D_{IS}(P(\omega ),{\hat {P}}(\omega ))={\frac {1}{2\pi }}\int _{-\pi }^{\pi }\left[{\frac {P(\omega )}{{\hat {P}}(\omega )}}-\log {\frac {P(\omega )}{{\hat {P}}(\omega )}}-1\right]\,d\omega$.

Эта метрика не является истинной, поскольку несимметрична и в ней не выполняется неравенство треугольника.

Иногда применяется как функционал качества в машинном обучении и неотрицательном матричном разложении, то есть при необходимости представления матрицы $X$ как:

$\underbrace {X} _{l\times d}=\underbrace {W} _{l\times r}\cdot \underbrace {H} _{r\times d}$.

В этом случае метрику можно записать в виде:

$\sum _{i=1}^{l}{\sum _{j=1}^{d}{\left({\frac {X_{ij}}{[WH]_{ij}}}-log{\frac {X_{ij}}{[WH]_{ij}}}-1\right)}}$.