t-критерий Уэлча

t-критерий Уэлча — тест, основанный на распределении Стьюдента и предназначенный для проверки статистической гипотезы о равенстве математических ожиданий случайных величин, имеющих необязательно равные известные дисперсии. Является модификацией t-критерия Стьюдента. Назван в честь британского статистика Бернарда Льюиса Уэлча.

Предпосылки

Для применения двухвыборочного t-критерия Стьюдента необходимо, чтобы истинные дисперсии были равны. В случае t-критерия Уэлча истинные дисперсии уже могут быть не равны, но предпосылка о нормальном распределении средних сохраняется.

Вычисление статистики

Пусть даны две независимые выборки нормально распределённых случайных величин:

$X_{1},...,X_{n_{x}}\sim {\mathcal {N}}(\mu _{x},\sigma _{x}^{2})$

$Y_{1},...,Y_{n_{y}}\sim {\mathcal {N}}(\mu _{y},\sigma _{y}^{2})$

Проверяем следующую нулевую гипотезу о равенстве математический ожиданий:

$H_{0}:\mu _{x}=\mu _{y}$

Пусть нулевая гипотеза верна. Тогда $E({\overline {X}}-{\overline {Y}})=0$ и $Var({\overline {X}}-{\overline {Y}})={\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}$. Пусть ${\hat {\sigma }}_{x}^{2}=\sum _{i=1}^{n_{x}}{\dfrac {(X_{i}-{\overline {X}})^{2}}{n_{x}-1}}$ и ${\hat {\sigma }}_{y}^{2}=\sum _{i=1}^{n_{y}}{\dfrac {(Y_{i}-{\overline {Y}})^{2}}{n_{y}-1}}$ — несмещенные оценки дисперсий $\sigma _{x}^{2}$ и $\sigma _{y}^{2}$ соответственно. Рассчитаем следующую статистику:

$t={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\widehat {Var}}({\bar {X}}-{\bar {Y}})}}}={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\widehat {Var}}({\bar {X}})+{\widehat {Var}}({\bar {Y}})}}}={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\dfrac {{\hat {\sigma }}_{x}^{2}}{n_{x}}}+{\dfrac {{\hat {\sigma }}_{y}^{2}}{n_{y}}}}}}$

Сделаем следующее преобразование:

$t={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\dfrac {{\hat {\sigma }}_{x}^{2}}{n_{x}}}+{\dfrac {{\hat {\sigma }}_{y}^{2}}{n_{y}}}}}}={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}}}}\cdot {\dfrac {\sqrt {{\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}}}{\sqrt {{\dfrac {{\hat {\sigma }}_{x}^{2}}{n_{x}}}+{\dfrac {{\hat {\sigma }}_{y}^{2}}{n_{y}}}}}}$

Распределение первой статистики является стандартным нормальным распределением:

${\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}}}}\sim {\mathcal {N}}(0,1)$

Рассмотрим вторую статистику и для дальнейших вычислений назовем её $S$:

$S={\dfrac {{\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}}{{\dfrac {{\hat {\sigma }}_{x}^{2}}{n_{x}}}+{\dfrac {{\hat {\sigma }}_{y}^{2}}{n_{y}}}}}$

Статистика $S$ напоминает случайную величину с распределением хи-квадрат, поделенную на степень свободы, но таковой не является. Пусть $Z\sim \chi _{d}^{2}$ является случайной величиной с распределением хи-квадрат с $d$ степенями свободы. Тогда ${\dfrac {Z}{d}}\geqslant 0$, равно как и $S\geqslant 0$. Теперь заметим, что $E(S)=1$ (так как мы используем несмещенные оценки дисперсий), а $E\left({\dfrac {Z}{d}}\right)={\dfrac {E(Z)}{d}}={\dfrac {d}{d}}=1$.

Раз мы хотим, чтобы $S$ была максимально похожа на ${\dfrac {Z}{d}}\sim {\dfrac {\chi _{d}^{2}}{d}}$, то приравняем дисперсии данных случайных величин:

$Var(S)=Var\left({\dfrac {Z}{d}}\right)={\dfrac {2}{d}}$

Рассчитаем дисперсию случайной величины $S$:

$Var(S)={\dfrac {1}{\left({\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}\right)^{2}}}\left({\dfrac {1}{n_{x}^{2}}}Var({\hat {\sigma }}_{x}^{2})+{\dfrac {1}{n_{y}^{2}}}Var({\hat {\sigma }}_{y}^{2})\right)={\dfrac {1}{\left({\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}\right)^{2}}}\left({\dfrac {2(\sigma _{x}^{2})^{2}}{n_{x}^{2}(n_{x}-1)}}+{\dfrac {2(\sigma _{y}^{2})^{2}}{n_{y}^{2}(n_{y}-1)}}\right)={\dfrac {2}{d}}$

Отсюда:

$d={\dfrac {\left({\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}\right)^{2}}{{\dfrac {\sigma _{x}^{4}}{n_{x}^{2}(n_{x}-1)}}+{\dfrac {\sigma _{y}^{4}}{n_{y}^{2}(n_{y}-1)}}}}$

В конечном итоге имеем при справедливости нулевой гипотезы:

$t{\stackrel {approx.}{\sim }}t_{d}$,

где $d$ находится как:

$d={\dfrac {\left({\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}\right)^{2}}{{\dfrac {\sigma _{x}^{4}}{n_{x}^{2}(n_{x}-1)}}+{\dfrac {\sigma _{y}^{4}}{n_{y}^{2}(n_{y}-1)}}}}$

При достаточно больших объёмах выборок мы можем воспользоваться нормальной аппроксимацией:

$t={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\dfrac {{\hat {\sigma }}_{x}^{2}}{n_{x}}}+{\dfrac {{\hat {\sigma }}_{y}^{2}}{n_{y}}}}}}{\xrightarrow[{n_{x},n_{y}\rightarrow \infty }]{}}{\mathcal {N}}(0,1)$

Двухвыборочный t-критерий Уэлча для независимых выборок

Пусть даны две независимые выборки нормально распределённых случайных величин:

$X_{1},...,X_{n_{x}}\sim {\mathcal {N}}(\mu _{x},\sigma _{x}^{2})$

$Y_{1},...,Y_{n_{y}}\sim {\mathcal {N}}(\mu _{y},\sigma _{y}^{2})$

При нулевой гипотезе $H_{0}:\mu _{x}=\mu _{y}$ мы рассчитываем следующую статистику:

$t={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\dfrac {{\hat {\sigma }}_{x}^{2}}{n_{x}}}+{\dfrac {{\hat {\sigma }}_{y}^{2}}{n_{y}}}}}}$

Пусть альтернативная гипотеза $H_{1}:\mu _{x}\neq \mu _{y}$.

При справедливости нулевой гипотезы распределение $t$ будет приблизительно являться распределением Стьюдента с $d$ степенями свободы:

$t{\stackrel {approx.}{\sim }}t_{d}$,

где $d$ находится как:

$d={\dfrac {\left({\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}\right)^{2}}{{\dfrac {\sigma _{x}^{4}}{n_{x}^{2}(n_{x}-1)}}+{\dfrac {\sigma _{y}^{4}}{n_{y}^{2}(n_{y}-1)}}}}$

Следовательно, при превышении значения наблюдаемой статистики по абсолютной величине критического значения данного распределения (при заданном уровне значимости) нулевая гипотеза отвергается.

Пример

В следующих примерах будем сравнивать t-критерий Стьюдента и t-критерий Уэлча. Выборки сгенерированы модулем numpy.random для языка программирования Python.

Для всех трех примеров математические ожидания будут равны $\mu _{x}=20$ и $\mu _{y}=22$ соответственно.

В первом примере истинные дисперсии равны ($\sigma _{x}^{2}=\sigma _{y}^{2}=4$) и объёмы выборок равны ($n_{x}=n_{y}=15$). Обозначим за $S_{X}$ и $S_{Y}$ как соответствующие случайные выборки:

${\begin{aligned}S_{X}&=\{19.17,21.41,23.83,15.72,21.44,20.93,21.53,21.76,21.62,18.11,19.74,18.74,17.12,21.30,21.97\}\\S_{Y}&=\{19.71,22.77,22.85,26.21,21.60,21.50,25.43,21.45,24.69,22.69,20.21,26.24,21.43,22.49,20.76\}\end{aligned}}$

Во втором примере истинные дисперсии неравны ($\sigma _{x}^{2}=16$, $\sigma _{y}^{2}=1$) и неравные объёмы у выборок ($n_{x}=10$,$n_{y}=20$). У меньшей выборки большая дисперсия:

${\begin{aligned}S_{X}&=\{18.33,22.82,27.66,11.43,22.88,21.87,23.07,23.53,23.24,16.21\}\\S_{Y}&=\{21.87,21.37,20.56,22.65,22.98,20.86,22.39,22.43,24.11,21.80,21.75,23.71,21.73,23.35,22.34,21.10,24.12,21.71,22.24,21.38\}\end{aligned}}$

В третьем примере истинные дисперсии неравны ($\sigma _{x}^{2}=1$, $\sigma _{y}^{2}=16$) и неравные объёмы у выборок ($n_{x}=10$,$n_{y}=20$). У большей выборки большая дисперсия:

${\begin{aligned}S_{X}&=\{19.58,20.71,21.92,17.86,20.72,20.47,20.77,20.88,20.81,19.05\}\\S_{Y}&=\{21.48,19.48,16.25,24.61,25.94,17.42,23.55,23.71,30.43,21.21,21.01,28.86,20.91,27.39,23.37,18.42,30.47,20.86,22.97,19.52\}\end{aligned}}$

	Выборка $S_{X}$			Выборка $S_{Y}$			t-критерий Стьюдента				t-критерий Уэлча
Пример	$n_{x}$	${\overline {X}}$	${\hat {\sigma }}_{x}^{2}$	$n_{y}$	${\overline {Y}}$	${\hat {\sigma }}_{y}^{2}$	$t$	$d$	$p$-value	$p_{\mathrm {sim} }$-value	$t$	$d$	$p$-value	$p_{\mathrm {sim} }$-value
1	15	20.29	4.61	15	22.67	4.35	-3.07	28	0.005	0.005	−3.07	28.0	0.005	0.004
2	10	21.10	21.01	20	22.22	1.04	−1.06	28	0.299	0.465	−0.76	9.57	0.464	0.459
3	10	20.27	1.31	20	22.89	16.69	−1.97	28	0.059	0.015	−2.66	23.28	0.014	0.018

Для равных дисперсий и равных объёмов выборок t-критерий Стьюдента и t-критерий Уэлча выдали примерно одинаковый результат (пример 1). Для неравных дисперсий t-критерий Уэлча точнее оценивает истинное распределение статистики, чем t-критерий Стьюдента ($p$-value для t-критерия Уэлча ближе к моделированной $p_{\mathrm {sim} }$-value, чем для t-критерия Стьюдента).

Если неизвестно, равны ли дисперсии двух генеральных совокупностей, крайне не рекомендуется проводить пре-тесты для определения равенства дисперсий, а лучше сразу использовать t-критерий Уэлча.

Реализация в различных ПО

Язык программирования / ПО	Функция	Примечание
LibreOffice	TTEST(Data1; Data2; Mode; Type)	Подробнее
MATLAB	ttest2(data1, data2, 'Vartype', 'unequal')	Подробнее
Microsoft Excel до 2010	TTEST(array1, array2, tails, type)	Подробнее
Microsoft Excel 2010 and позднее	T.TEST(array1, array2, tails, type) или ТТЕСТ(массив1;массив2;хвосты;тип)	Подробнее
Python	scipy.stats.ttest_ind(a, b, equal_var=False)	Подробнее
R	t.test(data1, data2, alternative="two.sided", var.equal=FALSE)	Подробнее
Haskell	Statistics.Test.StudentT.welchTTest SamplesDiffer data1 data2	Подробнее
Julia	UnequalVarianceTTest(data1, data2)	Подробнее
Stata	ttest varname1 == varname2, welch	Подробнее
Google Sheets	TTEST(range1, range2, tails, type)	Подробнее

Литература

B. L. Welch The Generalization of `Student’s' Problem when Several Different Population Variances are Involved // Vol. 34, No. 1/2 (Jan., 1947), pp. 28-35