Распределение Дирихле

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

В теории вероятностей и математической статистике распределение Дирихле (по имени Иогaнна Пeтера Гyстава Лежён-Дирихлe) часто обозначаемое Dir(α) — это семейство непрерывных многомерных вероятностных распределений параметризованных вектором α неотрицательных вещественных чисел. Распределение Дирихле является обобщением Бета-распределения на многомерный случай. То есть, его функция плотности вероятности возвращает доверительную вероятность того, что вероятность каждого из K взаимноисключающих событий равна x_i при условии, что каждое событие наблюдалось \alpha_i-1 раз.

Функция плотности вероятности[править | править исходный текст]

Функция плотности вероятности для распределения Дирихле порядка K есть:

f(x_1, \dots, x_K; \alpha_1, \dots, \alpha_K) =\frac{1}{\mathrm{B}(\alpha)} \prod_{i=1}^K x_i^{\alpha_i - 1}

где x_i \ge 0\,, \sum_{i=1}^K x_i = 1\,, и \alpha_i \ge 0\,.

Свойства[править | править исходный текст]

Пусть X = (X_1, \ldots,X_K)\sim\operatorname{Dir}(\alpha) и \alpha_0 =\sum_{i=1}^K\alpha_i, тогда

\mathrm{E}[X_i|\alpha] = \frac{\alpha_i}{\alpha_0},
\mathrm{Var}[X_i|\alpha] = \frac{\alpha_i(\alpha_0-\alpha_i)}{\alpha_0^2 (\alpha_0+1)},
\mathrm{Cov}[X_iX_j|\alpha] = \frac{- \alpha_i\alpha_j}{\alpha_0^2 (\alpha_0+1)}.

Модой распределения является вектор x (x1, …,xK) с

 x_i = \frac{\alpha_i - 1}{\alpha_0 - K}, \quad \alpha_i > 1.

Распределение Дирихле является сопряжённым априорным распределением к мультиномиальному распределению, а именно: если

\beta|X=(\beta_1, \ldots, \beta_{K})|X \sim\operatorname{Mult}(X),

где βi — число вхождений i в выборку из n точек дискретного распределения на {1, …, K} определенного через X, то

X | \beta \sim \operatorname{Dir}(\alpha + \beta).

Эта связь используется в Байесовской статистике для того, чтобы оценить скрытые параметры, X, дискретного вероятностного распределения имея набор из n выборок. Очевидно, если априорное распределение обозначено как Dir(α), то Dir(α + β) есть апостериорное распределение после серии наблюдений с гистограммой β.

Связи с другими распределениями[править | править исходный текст]

Если для i\in\{1,2,\ldots,K\},

Y_i\sim\operatorname{Gamma}(\textrm{shape}=\alpha_i,\textrm{scale}=1) независимо, то
V=\sum_{i=1}^KY_i\sim\operatorname{Gamma}(\textrm{shape}=\sum_{i=1}^K\alpha_i,\textrm{scale}=1),

и

(X_1,\ldots,X_K) = (Y_1/V,\ldots,Y_K/V)\sim\operatorname{Dir}(\alpha_1,\ldots,\alpha_K).

Несмотря на то, что Xi не являются независимыми друг от друга, они могут быть сгенерированны из набора из K независимых гамма случайных величин. К несчастью, так как сумма V теряется в процессе формирования X = (X1, …, XK), становится невозможно восстановить начальные значения гамма случайных величин только по этим значениям. Тем не менее, благодаря тому, что работать с независимыми случайными величинами проще, это преобразование параметров может быть полезно при доказательстве свойств распределения Дирихле.

Генерация случайных чисел[править | править исходный текст]

Метод построения случайного вектора x=(x_1, \ldots, x_K) для распределения Дирихле размерности K с параметрами (\alpha_1, \ldots, \alpha_K) следует непосредственно из этой связи. Сначала получим K независимых случайных выборок y_1, \ldots, y_K из гамма-распределений, каждое из которых имеет плотность

 \frac{y_i^{\alpha_i-1} \; e^{-y_i}}{\Gamma (\alpha_i)}, \!

а затем положим

x_i = y_i/\sum_{j=1}^K y_j. \!

Наглядная трактовка параметров[править | править исходный текст]

В качестве примера использования распределения Дирихле можно предложить задачу, в которой требуется разрезать нитки (каждая начальной длины 1.0) на K частей с разными длинами так, чтобы все части имели заданную среднюю длину, но с возможностью некоторой вариации относительных длин частей. Значения α/α0 определяют средние длины частей нитки, получившиеся из распределения. Дисперсия вокруг среднего значения обратно пропорциональна α0.

См. также[править | править исходный текст]