Степени свободы (теория вероятностей)

Материал из Википедии — свободной энциклопедии
(перенаправлено с «Степень свободы (теория вероятностей)»)
Перейти к: навигация, поиск

Количество степеней свободы — это количество значений в итоговом вычислении статистики, способных варьироваться. Иными словами, количество степеней свободы показывает размерность вектора из случайных величин, количество «свободных» величин, необходимых для того, чтобы полностью определить вектор.

Количество степеней свободы может быть не только натуральным, но и любым действительным числом, хотя стандартные таблицы рассчитывают p-value наиболее распространённых распределений только для натурального числа степеней свободы.

Степени свободы распределений[править | править вики-текст]

Хи-квадрат[править | править вики-текст]

Если случайные величины Z_1; \ldots; Z_n независимы и все имеют стандартное нормальное распределение (Z\sim \mathcal{N}(0;1)), то тогда говорят, что случайная величина X, являющаяся суммой квадратов стандартных нормальных величин в количестве n штук, имеет распределение хи-квадрат с n степенями свободы (\chi^2_n):

X = \sum\limits_{i=1}^n Z_i^2 \sim \chi^2_n

t-распределение Стьюдента[править | править вики-текст]

Если случайная величина Z имеет стандартное нормальное распределение (Z\sim \mathcal{N}(0;1)), случайная величина X имеет распределение хи-квадрат с n степенями свободы (\chi^2_n) и Z и X независимы (их корреляция равна нулю), то случайная величина T = \frac{Z}{\sqrt{\frac{X}{n}}} имеет распределение Стьюдента с n степенями свободы (t_n):

T = \frac{\mathcal{N}(0;1)}{\sqrt{\frac{\chi^2_n}{n}}} \sim t_n

Распределение Фишера—Снедекора[править | править вики-текст]

Если случайная величина X_1 имеет распределение хи-квадрат с n степенями свободы, а случайная величина X_2 имеет распределение хи-квадрат с m степенями свободы, то случайная величина F = \frac{X_1/n}{X_2/m} имеет распределение Фишера—Снедекора с n и m степенями свободы (t_n):

F =  \frac{\chi^2_n/n}{\chi^2_m/m} \sim \mathrm{F}_{n;m}

  • Если m \rightarrow \infty, то F_{n;m} = \frac{\chi^2_n/n}{\chi^2_m/m} \rightarrow \chi^2_n.
  • Если возвести случайную величину, имеющую распределение Стьюдента с m степенями свободы, в квадрат, то она будет иметь распределение Фишера—Снедекора с 1 и m степенями свободы:

(t_m)^2 = \left( \frac{ \mathcal{N}(0;1) }{\sqrt{\frac{\chi^2_m}{m}}} \right)^2 =  \frac{ \bigl(\mathcal{N}(0;1)\bigr)^2 }{\left(\sqrt{\frac{\chi^2_m}{m}}\right)^2} = \frac{\chi^2_1}{\chi^2_m/m} = \frac{\chi^2_1/1}{\chi^2_m/m} \sim \mathrm{F}_{1;m}

Теория вероятностей[править | править вики-текст]

Пусть X_i — одномерная случайная величина. Тогда будут верны следующие утверждения о количестве степеней свободы:

  • Случайная величина S^2 = \frac{\sum\limits_i (X_i - \bar X)^2}{n-1} распределена по закону \chi^2 с (n-1) степенями свободы (при этом часто под S^2 подразумевают выборочную дисперсию \hat\sigma^2).
  • Исходя из вышеуказанных обозначений, можно утверждать, что случайная величина \frac{X - \bar X}{\sqrt{\frac{S^2}{n}}} распределена по закону \chi^2 с (n-1) степенями свободы.
  • Случайная величина \frac{X - \mathbb{E}(X)}{\sqrt{\frac{\hat\sigma^2}{n}}} распределена по закону \chi^2 с n степенями свободы.
  • Случайная величина \frac{X - \mathbb{E}(X)}{\sqrt{\frac{\sigma^2_X}{n}}} распределена по стандартному нормальному закону (\mathcal{N}(0;1)), где \sigma^2_X — истинная дисперсия случайной величины X.

Замена случайной величины \bar X(X_1;\ldots;X_n) на её истинное математическое ожидание даёт прибавку в одну степень свободы по следующей причине. Рассмотрим случайную величину \xi_k = X_k - \bar X. Далее, \sum\limits_{i=1}^n \xi_i = \sum\limits_{i=1}^n (X_i - \bar X) = \sum\limits_{i=1}^n X_i - \sum\limits_{i=1}^n \bar X = n \bar X - n\bar X = 0. Следовательно, имеется n штук зависимых случайных величин. Поэтому n-1 штук величин независимы, поэтому в формуле с \bar X в числителе на одну степень свободы меньше, чем в формуле с истинным матожиданием.

Регрессионный анализ[править | править вики-текст]

В регрессионном анализе при использовании метода наименьших квадратов сопоставляются наблюдения Y_i с расчётными значениями \hat Y_i (полученными из уравнения регрессии). Если \bar Y — это арифметическое среднее всех наблюдений, то в соответствии с многомерной теоремой Пифагора имеет место равенство:

\underbrace{\sum\limits_i (Y_i - \bar Y)^2}_{TSS} = \underbrace{\sum\limits_i (\hat Y_i - \bar Y)^2}_{ESS} + \underbrace{\sum\limits_i (Y_i - \hat Y)^2}_{RSS}

При этом TSS (Total Sum of Squares) распределён как \chi^2 с (n-1) степенями свободы, ESS (Estimated Sum of Squares; не путать с Error!) распределён как \chi^2 с одной степенью свободы, RSS (Residual Sum of Squares; не путать с Regression!) распределён как \chi^2 с (n-2) степенями свободы.

См. также[править | править вики-текст]