Среднее степенное взвешенное

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску

Среднее степенное взвешенное набора положительных вещественных чисел с параметром и неотрицательными весами определяется как

.

Если веса нормированы к единице (т. е. их сумма равна единице), то выражение для среднего степенного взвешенного принимает вид

.

Свойства[править | править код]

Связь с энтропией Реньи[править | править код]

Информационную энтропию некоторой системы можно определить как логарифм числа доступных состояний системы (или их эффективного количества, если состояния не равновероятны). Учтём, что вероятности пребывания системы в состоянии с номером () нормированы к . Если состояния системы равновероятны и имеют вероятность , то . В случае разных вероятностей состояний определим эффективное количество состояний как среднее степенное взвешенное от величин с весами и параметром (где ):

.

Отсюда получаем выражение для энтропии

,

совпадающее с выражением для энтропии Реньи[1]. Нетрудно видеть, что в пределе при (или ) энтропия Реньи сходится к энтропии Шеннона (при том, что среднее степенное взвешенное — к среднему геометрическому взвешенному). По определению энтропии Реньи должно соблюдаться дополнительное ограничение (или ).

Примечания[править | править код]

  1. Зарипов, 2005, с. 108-125.

Литература[править | править код]

  • Зарипов Р. Г. Новые меры и методы в теории информации. — Казань: Изд-во Казан. гос. техн. ун-та, 2005. — 364 с.