Критерий Вальда — Вольфовица

Критерий Вальда — Вольфовица (тест периодов, тест прогонов, критерий серий Вальда-Вольфовица), названный в честь статистиков Абрахама Вальда и Джейкоба Вольфовица, представляет собой непараметрический статистический тест, который проверяет гипотезу о случайности для двух последовательностей данных одинаковой длины. Точнее, данный критерий можно использовать для проверки нулевой гипотезы о том, что элементы двух последовательностей взаимно независимы.

Определение

Прогон последовательности — это максимальный непустой сегмент последовательности, состоящий из соседних равных элементов. Если последовательность действительно случайна, то прогонов не должно быть слишком мало, но и не должно быть слишком много.

Например, последовательность длиной в 22 элемента

+ + + + − − − + + + − − + + + + + + − − − −

состоит из 6 прогонов, 3 из которых состоят из «+», а остальные из «−». Тест прогонов основан на нулевой гипотезе о том, что каждый элемент в последовательности независимо берется из одного и того же распределения.

Согласно нулевой гипотезе, количество прогонов в последовательности из N элементов является случайной величиной, условное распределение которой, учитывая наблюдение N₊ положительных значений и N₋ отрицательных значений (N = N₊ + N₋), является приблизительно нормальным, при этом математическое ожидание $\mu ={\frac {2\ N_{+}\ N_{-}}{N}}+1$, дисперсия $\sigma ^{2}={\frac {2\ N_{+}\ N_{-}\ (2\ N_{+}\ N_{-}-N)}{N^{2}\ (N-1)}}={\frac {(\mu -1)(\mu -2)}{N-1}}$.

Эти параметры не предполагают, что положительные и отрицательные элементы имеют равные вероятности появления, а только предполагают, что элементы независимы и одинаково распределены. Если количество прогонов значительно выше или ниже ожидаемого, гипотеза о статистической независимости элементов может быть отклонена.

Применение

Тест прогонов может быть использован, чтобы проверить:

1. Случайность распределения данных в последовательности. Таким образом данные проверяются на предмет стационарности или отсутствие корреляции во временном ряду или другой последовательности, особенно если распределение признака неизвестно. Нулевая гипотеза здесь заключается в том, что последовательные значения некоррелированы. Данные выбираются из последовательности в порядке их следования: знаком «+» отмечаются данные равные или превышающие медиану; знаком «–» — данные меньшие медианы.
2. Насколько хорошо функция соотносится с датасетом. Данные, превышающие значение функции, отмечаются знаком «+», остальные данные отмечаются знаком «–». В этом случае тест прогонов, учитывающий знаки, но не расстояния, является дополнением к критерию хи-квадрат, который учитывает расстояния, но не знаки — обе контрольные величины асимптотически независимы друг от друга.

Пример проверки на случайность распределения данных

Рассмотрим последовательность

13	 3	14	14	1	14	3	8	14	17	9	14	13	2	16	1	3	12	13	14

Отнесем каждое значение данной последовательности к одной из 2 групп («+» или «–») с учетом того больше оно или меньше медианы = 13

0	-10	1	1	-12	1	-10	-5	1	4	-4	1	0	-11	3	-12	-10	-1	0	1

+	-	+	+	-	+	-	-	+	+	-	+	+	-	+	-	-	-	+	+

При N₊ = 11 и N_- = 9 получается r = 13 прогонов.

R приблизительно нормально распределено с математическим ожиданием $\mu ={\frac {(2\cdot 11\cdot 9)}{20}}+1=10{,}9$ и дисперсией $\sigma ^{2}={\frac {2\cdot 11\cdot 9\cdot (2\cdot 11\cdot 9-20)}{20^{2}\cdot 19}}=4{,}6$.

В этом случае контрольная величина z рассчитывается как ${\frac {13-10{,}9}{\sqrt {4{,}6}}}=0{,}98$.

При уровне значимости 0,05 нулевая гипотеза H₀ отвергается, если |z| > 1,96. Это не наш случай.

Результат: нулевая гипотеза не отвергается. Элементы выборки, по-видимому, выбраны случайным образом.

Поскольку тест прогонов не является параметрическим тестом, то к результату следует относиться с осторожностью. Например, при уровне достоверности 90% нулевая гипотеза может быть отвергнута, однако параметрический критерий Шапиро-Уилка показывает, что значения данного числового ряда не распределены нормальным образом!

Связанные критерии

Критерий Вальда-Вольфовица, первоначально предложенный для использования с двумя выборками (последовательностями) , впоследствии был расширен для использования с несколькими выборками.

Внешние ссылки

• Analysis of Runs - глава из документации к статистическому пакету NCSS
• Портал machinelearning.ru / Регрессионный анализ / Критерий Вальда-Вольфовица
• Функция runstest_2samp из модуля Python statsmodels, реализующая тест прогонов Вальда-Вулфовица для двух последовательностей
• Иллюстрированный самоучитель по SPSS / Непараметрические тесты / Тест Уалда-Вольфовица (Wald-Wolfowitz)
• Kandethody M. Ramachandran, Chris P. Tsokos. Chapter 12. Nonparametric Tests / Projects for Chapter 12 / 12B. Randomness Test (Wald–Wolfowitz Test) // Mathematical statistics with applications (англ.). — Elsevier Academic Press, 2009. — P. 653. — 824 p. — ISBN 978-0-12-374848-5.
• Кобзарь, А. И.. Глава 4. Проверка гипотез о значениях параметров распределений / 4.3. Критерии тренда и случайности / 4.3.9. Критерии ранговой корреляции / 4.3.9.1. Критерий Вальда-Волфовитца // Прикладная математическая статистика. Для инженеров и научных работников (рус.). — Физматлит, 2006. — С. 539. — 816 с. — ISBN 978-5-9221-0707-5.
• CRAN / randtests: Testing Randomness in R / runs.test: Wald-Wolfowitz Runs Test — runs test of randomness for continuous data