Поправка на множественную проверку гипотез: различия между версиями

[непроверенная версия]

Содержимое удалено Содержимое добавлено

Линейный

Версия от 01:06, 13 апреля 2019

Проблéма мно́жественных сравне́ний (англ. multiple comparisons, multiplicity, multiple testing problem) — класс задач статистики, возникающих при необходимости построения семейства статистических выводов. При проверке статистических гипотез при отвержении основной гипотезы (H₀), возможна ошибка (ложное отклонение гипотезы, ошибка первого рода). Вероятность такого события ограничивается неким малым предварительно выбранным значением — уровнем значимости $\alpha$ ( обычно $\alpha =0.05$ ). Тогда при построении $m$ выводов верхняя оценка вероятности того, что хотя бы один из них будет неверным, равна $1-(1-\alpha )^{m}$ , что достаточно велико уже при небольших $m$ (например, при $m=5$ , $\alpha =0.05$ она равна $\approx 22{,}6\%$ ). Для устранения этого эффекта было разработано несколько подходов^[1].

Примеры

Термин «сравнение» подразумевает сравнение параметров у каких-либо двух групп (например, экспериментальной и контрольной). При множественном сравнении подразумевается сравнение сразу нескольких параметров у этих групп. При увеличении количества параметров может появиться ложное заключение о наличии различий между группами, тогда как на самом деле верна нулевая гипотеза об отсутствии различий, что может привести к некоторым проблемам, как в примерах ниже.

Предположим, мы тестируем новое лекарство. Экспериментальной (терапевтической) группой будем называть группу больных, которым выдают новое лекарство, а группой контроля — группу больных, которым его не выдают. Будем считать, что эффективность лекарства заключается в ослаблении симптомов заболевания (понижению температуры, приведению давления в норму и так далее). Чем больше симптомов рассматривается, тем более вероятно, что найдётся хотя бы один симптом, который в этом исследовании в силу случайных причин окажется слабее у «группы лечения».
Рассмотрим аналогичную ситуацию, но теперь будем считать лекарство полезным, если оно не вызывает побочных эффектов. Чем больше возможных побочных эффектов рассматривается, тем более вероятно, что найдётся хотя бы один, который будет больше проявляться у «группы лечения» в конкретном исследовании .
Эксперименты могут проводиться не только в медицине, но и в эконометрике (например, при исследовании эффективности государственной поддержки безработных), биостатистике, социологии и многих других областях науки. Например, возьмём за группу контроля класс школьников, которые обучаются языку по традиционной методике, а за экспериментальную группу — класс школьников, которые обучаются по новой методике. Можно рассмотреть несколько параметров успеваемости: знания грамматики, произношение, скорость перевода и так далее. Чем больше параметров мы рассмотрим, тем выше вероятность того, что экспериментальная группа случайно будет превосходить «группу контроля» хотя бы по одному параметру.
Кроме того, иногда возникает задача, когда каждый элемент из какого-то множества проверяется на соответствие ожидаемому результату. Рассмотрим следующую ситуацию: у нас есть комплект из 100 монет, и мы хотим определить, есть ли среди этих монет экземпляры со смещённым центром тяжести (будем считать, что у монеты есть смещение, если она выпадает одной стороной хотя бы 9 раз при 10 бросках). Отметим, что вероятность такого исхода для сбалансированной монеты равна $(10+1+1+10)\cdot (1/2)^{10}\approx 0{,}0215$ (т.к. вероятность одного конкретного исхода $(1/2)^{10}$ , а нас устраивают 9 орлов, 1 решка - 10 исходов; 10 орлов - 1 исход; 10 орлов - 1 исход; 1 орел, 9 решек - 10 исходов) (Биномиальное распределение). Допустим, что все монеты в комплекте сбалансированы. Тогда вероятность того, что мы не ошибёмся ни в одном выводе, может быть $(1-0{,}0215)^{100}\approx 0{,}1138$ , то есть, довольно мала.

История

Интерес к проблема множественного тестирования возник в 1950-х годах в связи с работой Джона Тьюки и Генри Шеффе. Поправка Холма-Бонферрони была разработана в 1979 году, а работы по FDR (ожидаемой доли ложно-положительных результатов) начались в 1995 году. В 1996 была проведена первая конференция по множественной проверке гипотез в Израиле, после чего она проходила каждые два года по всему миру.^[2]

Обозначения

	Нулевая гипотеза верна	Нулевая гипотеза неверна	Всего
Принимаем гипотезу	$U$	$T$	$W$
Отвергаем гипотезу	$V$	$S$	$R$
Всего	$m_{0}$	$m-m_{0}$	$m$

$m$ общее число гипотез
$m_{0}$ число верных гипотез, неизвестный параметр
$m-m_{0}$ число неверных гипотез
$V$ число false positives (ошибок первого рода)
$S$ число true positives
$T$ число false negatives (ошибок второго рода)
$U$ число true negatives
$R$ число отвергнутых нулевых гипотез. $R$ и $W$ — наблюдаемые величины, а $S$ , $T$ , $U$ и $V$ — ненаблюдаемые.

Методы решения проблемы множественных сравнений

При слишком большом количестве испытаний увеличивается вероятность получить ложно-положительный результат (увеличение числа совершенных ошибок первого рода $V$ ). Задача состоит в том,чтобы выбрать метод, допускающий минимальное число ложных отклонений гипотез $V$ и ложных принятий $T$ . Для этого необходимо выбрать другое правило отвержения гипотез. Для задачи множественной проверки гипотез существует большое количество величин, обобщающих определение ошибки первого рода. Наиболее известны следующие:

FWER — family-wise error rate, групповая вероятность ошибки первого рода: ${\text{FWER}}=P(V\geq 1)$ ;
FDP — false discovery proportion, доля ложных отклонений гипотез (среди всех отклонений): ${\text{FDP}}={\begin{cases}{\frac {V}{R}},R>0,\\0,R=0;\end{cases}}$
FDR — false discovery rate, средняя доля ложных отклонений гипотез (среди всех отклонений): ${\text{FDR}}=E[{\text{FDP}}];$

Для каждой из приведенных мер существует свой способ ужесточения порога на значимость.

Групповая вероятность ошибки первого рода

Одна из мер, обобщающих ошибку первого рода, рассматриваемую при проверке статистических гипотез. Величина определяется как вероятность совершения хотя бы одной ошибки первого рода. По определению: ${\text{FWER}}=P(V\geq 1)$ . Контроль над FWER на фиксированном уровне значимости $\alpha$ означает, что выполняется неравенство ${\text{FWER}}\leq \alpha$ .

Существует несколько методов контроля FWER.

Поправка Бонферрони

Метод поправки Бонферрони утверждает, что для уменьшения ложноположительных результатов, необходимо отклонить те гипотезы, для которых $p_{i}<\alpha /m$ . Данная поправка позволяет получить ${\text{FWER}}\leq \alpha$ , потому что

из неравенства Буля следует, что для конечного или счетного набора событий, вероятность того, что произойдет хотя бы одно не больше, чем сумма вероятностей индивидуальных событий. Таким образом, если каждый индивидуальный тест будет проверяться на уровне значимости ${\frac {\alpha }{m}}$ , где $m$ - количество рассматриваемых гипотез, то для всего семейства гипотез уровень значимости фиксируется на уровне $\alpha$ :

${\text{FWER}}=P(V\geq 1)=P\left\{\bigcup _{i=1}^{m}\left(p_{i}\leq {\frac {\alpha }{m}}\right)\right\}\leq \sum _{i=1}^{m}P\left(p_{i}\leq {\frac {\alpha }{m}}\right)\leq m{\frac {\alpha }{m}}=\alpha$ ,

где $V$ — количество отвергнутых истинных гипотез.

Замечания

При увеличении $m$ в результате применения поправки Бонферрони мощность статистической процедуры резко уменьшается — шансы отклонить неверные гипотезы падают.

Метод Холма (поправка Холма — Бонферрони)

Равномерно более мощный, чем поправка Бонферрони, и решает проблему падения мощности при росте числа гипотез. Нисходящий метод.

Пусть $p_{(1)}\leq \,...\,\leq p_{(m)}$ — уровни значимости $p_{i}$ , упорядоченные от наименьшего к наибольшему. $H_{(1)},...,H_{(m)}$ — соответствующие $p_{(i)}$ гипотезы. Процедура Холма определена следующим образом.

Шаг 1. Если $p_{(1)}\geq {\frac {\alpha }{m-1+1}}$ , принять гипотезы $H_{(1)},...,H_{(m)}$ и остановиться. Иначе, если $p_{(1)}<{\frac {\alpha }{m-1+1}}$ , отвергнуть гипотезу $H_{(1)}$ и продолжить проверку оставшихся гипотез на уровне значимости ${\frac {\alpha }{m-2+1}}$ .
Шаг 2. Если $p_{(2)}\geq {\frac {\alpha }{m-2+1}}$ , принять гипотезы $H_{(2)},...,H_{(m)}$ и остановиться. Иначе, если $p_{(2)}<{\frac {\alpha }{m-2+1}}$ , отвергнуть гипотезу $H_{(2)}$ и продолжить проверку оставшихся гипотез на уровне значимости ${\frac {\alpha }{m-3+1}}$ .
И т.д.

Процедура обеспечивает ${\text{FWER}}\leq \alpha$ при любом характере зависимости между $p_{i}$ . Она равномерно мощнее метода Бонферрони. Если характер зависимости между статистиками неизвестен, то нельзя построить контролирующую FWER на уровне $\alpha$ процедуру мощнее, чем метод Холма.

Пример

Рассмотрим проверку 4-х гипотез при $\alpha =0.05$ . Пусть для них получены p-value: 0.01, 0.04, 0.03 и 0.005. Расставим их по возрастанию: 1) 0.005; 2) 0.01; 3) 0.03; 4) 0.04. Будут проверены следующие неравенства:

$0.005<{\frac {0.05}{4}}$ → отклоняем данную нулевую гипотезу, двигаемся дальше.
$0.01<{\frac {0.05}{4-1}}$ → отклоняем данную нулевую гипотезу, двигаемся дальше.
$0.03\geq {\frac {0.05}{4-2}}$ → принимаем эту и следующую нулевые гипотезы, останавливаемся.

Метод Шидака

Нисходящая процедура. Уровни значимости для $m$ гипотез задаются следующим образом: $\alpha _{1}\dots \alpha _{m}=1-(1-\alpha )^{1/m}$ . Метод дает FWER $\leq \alpha$ при условии, что статистики $T_{i}$ независимы или выполнено свойство "положительной зависимости":

$\mathrm {P} (T_{1}\leq t_{1},...,T_{m}\leq t_{m})\geq \prod _{i=1}^{m}\mathrm {P} (T_{i}\leq t_{i})$ , $\forall t$

Положительную зависимость, в частности, можно установить с помощью FKG-неравенства: если $f(x)$ и $g(x)$ - возрастающие (убывающие) функции, то $Ef(X)g(X)\geq Ef(X)Eg(X)$

Составим вариационный ряд p-значений: $p_{(1)}\leq \,...\,\leq p_{(m)}$ , где $H_{(1)},...,H_{(m)}$ - соответствующие гипотезы. Процедура выглядит так:

- Если $p_{(1)}\geq \alpha _{1}$ , то принимаем все гипотезы $H_{(1)},...,H_{(m)}$ и останавливаемся, иначе отвергаем $H_{(1)}$ и продолжаем;

- Если $p_{(2)}\geq \alpha _{2}$ , то принимаем все гипотезы $H_{(2)},...,H_{(m)}$ и останавливаемся, иначе отвергаем $H_{(2)}$ и продолжаем;

- ... и т.д.

Метод Шидака-Холма

Нисходящая процедура. Уровни значимости для $m$ гипотез задаются следующим образом: $\alpha _{1}=1-(1-\alpha )^{1/m}\dots \alpha _{i}=1-(1-\alpha )^{\frac {1}{m-i+1}}\dots \alpha _{m}=\alpha$

Контролирует FWER на уровне значимости $\alpha$ , если статистики независимы в совокупности. Если статистики независимы в совокупности, нельзя построить контролирующую FWER на уровне $\alpha$ процедуру мощнее, чем метод Шидака-Холма. При больших $m$ мало отличается от метоа Холма.

Средняя доля ложных отклонений

Данная величина определяется как математическое ожидание доли ошибок среди отвергнутых гипотез.

Определим $Q$ как отношение числа неверно отвергнутых гипотез $V$ ко всем отвергнутым гипотезам $R$ : $Q=V/R$ . Таким образом, FDR:

${\text{FDR}}=Q_{\textrm {e}}=E[Q]=E\left[{\frac {V}{V+S}}\right]=E\left[{\frac {V}{R}}\right]$ при $R>0$ .

Контроль над FDR на уровне $\alpha$ означает, что:

${\text{FDR}}=E\left({\frac {V}{R}}\right)\leq \alpha$ .

Метод Бенджамини — Хохберга

Это восходящая процедура со следующими уровнями значимости:

$\alpha _{1}={\frac {\alpha }{m}},\ ...,\ \alpha _{i}={\frac {i\alpha }{m}},\ ...,\ \alpha _{m}=\alpha$ .

Пусть $p_{(1)}\leq \,...\,\leq p_{(m)}$ — уровни значимости $p_{i}$ , упорядоченные от наименьшего к наибольшему. $H_{(1)},...,H_{(m)}$ — соответствующие $p_{(i)}$ гипотезы. Процедура Бенджамини — Хохберга определена следующим образом.

Шаг 1. Если $p_{(1)}\geq {\frac {\alpha }{m}}$ , принять гипотезы $H_{(1)},...,H_{(m)}$ и остановиться. Иначе, если $p_{(1)}<{\frac {\alpha }{m}}$ , отвергнуть гипотезу $H_{(1)}$ и продолжить проверку оставшихся гипотез на уровне значимости ${\frac {2\alpha }{m}}$ .
Шаг 2. Если $p_{(2)}\geq {\frac {2\alpha }{m}}$ , принять гипотезы $H_{(2)},...,H_{(m)}$ и остановиться. Иначе, если $p_{(2)}<{\frac {2\alpha }{m}}$ , отвергнуть гипотезу $H_{(2)}$ и продолжить проверку оставшихся гипотез на уровне значимости ${\frac {3\alpha }{m}}$ .
И т.д.

Если статистики $T_{i}$ независимы, этот метод контролирует FDR на уровне $\alpha$ .

Сравнение трех методов

На практике корректируется не сам порог, а p-значение. Если мы будем сравнивать все три метода, то можно увидеть, что наиболее строгим из всех является поправка Бонферрони. Рассмотрим на примере.

В статье García-Arenzana et al. (2014) было протестировано 25 различных диетических параметров и их влияние на маммографическую плотность у испанок. Ниже приведены полученные результаты:

Dietary variable	P-value
Total calories	$0.001$
Olive oil	$0.008$
Whole milk	$0.039$
White meat	$0.041$
Proteins	$0.042$
Nuts	$0.06$
Cereals and pasta	$0.074$
White fish	$0.205$
Butter	$0.212$
Vegetables	$0.216$
Skimmed milk	$0.222$
Red meat	$0.251$
Fruit	$0.269$
Eggs	$0.275$
Blue fish	$0.34$
Legumes	$0.341$
Carbohydrates	$0.384$
Potatoes	$0.569$
Bread	$0.594$
Fats	$0.696$
Sweets	$0.762$
Dairy products	$0.94$
Semi-skimmed milk	$0.942$
Total meat	$0.975$
Processed meat	$0.986$

Файл:Noncorrectedp.jpg

p-значения без поправок

Как можно увидеть, пять переменных являются значимыми (p-значение < $\alpha$ ).

Применим поправку Бонферрони для данной выборки. Скорректированные p-значения высчитываются таким образом: $p_{i}=\min(1,mp)$ .

Файл:Correctedbonf.jpg

p-значения после применения поправки Бонферрони

После применения данной поправки видно, что только один тест остался значимым. Поправка Бонферрони подходит, когда хотя бы один ложно-положительный результат может стать проблемой. По большей части, данная поправка применима на небольшом количестве тестов, когда мы ищем всего один или два значимых результата. Если мы возьмем большое количество тестов, где нам будут интересны достаточно много значимых результатов, то поправка Бонферрони может привести к большому числу ложно-отрицательных результатов. Например, при анализе экспрессии порядка 20 000 генов в двух разных тканях мы ожидаем увидеть хотя бы несколько сотен генов с разным уровнем экспрессии. Однако, при применении данной поправки p-значение должно быть меньше 0.05/20000=0.0000025 для того, чтобы быть значимым. Таким образом, только гены с очень большой разницей в экспрессии будут иметь такое низкое p-значение, что может привести к потере результатов, где разница есть, но не такая большая.

Посмотрим на то, как изменились p-значения после применения поправки Холма, считается так: $p_{i}=\min(1,\max((m-i+1)p_{i},p_{(i+1)}))$ .

Файл:Correctedholm.jpg

p-значения после применения поправки Холма

Посмотрим на p-значения после применения поправки Бенджамини — Хохберга, считается: $p_{i}=\min(1,{\frac {mp_{i}}{i}},p_{(i+1)})$ .

Файл:Correctedbenhoh.jpg

p-значения после применения поправки Бенджамини — Хохберга

Масштабное множественное тестирование

Во многих исследованиях, к примеру в области геномики, требуется проверять тысячи или даже значительно больше гипотез. В области исследований генетических ассоциаций существует проблема невоспроизводимости результатов: результат, сильно значимый в одном исследовании, не повторяется в следующем. Причиной этого являются в том числе и последствия множественного тестирования.^[3]

В разных областях науки отношение к множественному тестированию неоднозначное. Есть мнение, что использование поправки на множественное сравнение, когда есть серьезные основания считать, что результаты будут правдивыми, не обязательно.^[4] Также утверждается, что поправка на множественное тестирование - неэффективный метод проведения эмпирических исследований, потому что, контролируя ложно-положительные результаты, он приводит к появлению большого количества ложно-отрицательных. Однако с другой стороны утверждается, что усовершенствования в методах измерения и информационных технологиях облегчили появление больших наборов данных для разведочного анализа, что приводит к тестированию большого числа гипотез без предварительного предположения о том, что большинство из них правдивы. А это означает большое количество ложно положительных результатов, если поправка на множественное тестирование не проводится.

В масштабных тестированиях, если надо получить точные результаты, то лучше всего использовать FWER, однако если исследование разведочное и значимые результаты будут проверяться в независимом исследовании, предпочитают использовать FDR.^[5]^[6]^[7] FDR, определяемое как ожидаемая доля ложно-положительных результатов среди всех положительных (значимых), позволяет определять набор "положительных кандидатов", которых можно рассматривать в дальнейших исследованиях.^[8]

Практика проводить много сравнений без поправки в надежде найти что-то значимое, применяемая сознательно или нет, иногда называется "p-hacking".^[9]^[10]

Применение в биоинформатике

Проблема множественного сравнения в биологии встречается повсеместно при анализе омиксных данных^[6]^[11]^[12], так как одновременно происходит анализ множества переменных. Так, в полногеномных исследованиях ассоциаций и анализе дифференциальной экспрессии генов тестируется одновременно от сотен тысяч до миллионов гипотез. В большинстве случаев используется поправка Бонферрони или общепринятый для GWAS порог p-value $5\cdot 10^{-8}$ ^[13], однако при этом происходит падение мощности исследования с сопутствующим ростом риска ложно-отрицательных результатов. Также нарушается предположение поправки Бонферрони о независимости проводимых сравнений, поскольку существует неравновесное сцепление генов, когда частоты сочетаний SNP отличаются от ожидаемых при условии отсутствия сцепления, поэтому встает вопрос, сколько проведено реальных независимых сравнений. Можно определить число независимых сравнений в таких условиях как число главных компонент, совокупно покрывающих более $99.5\%$ дисперсии исследуемых данных, тогда порог p-value, обеспечивающий статистическую значимость на уровне $\alpha$ , пересчитывается следующим образом:

$\alpha _{GWAS}={\frac {\alpha }{n_{components}}}$ ^[14]^[15]

Также для решения проблемы множественных сравнений используются пермутационные тесты^[14]. Предположение пермутационных тестов заключается в том, что если сравниваемые выборки пришли из одной совокупности, то обмен элементами между выборками не должен привести к значительному изменению тестовой статистики. Примерный общий алгоритм пермутационных тестов выглядит следующим образом:

Рассчитывается значение тестовой статистики для выборок экспериментальных данных
Выборки объединяются в единый пул
Из пула данных формируются случайным образом выборки такого же размера
Рассчитывается значение тестовой статистики для нового набора выборок
Многократным повторением пунктов 2-4 строится распределение тестовой статистики
Исходя из построенного распределение и экспериментального значения тестовой статистики определяется p-value

При применении пермутационных тестов не требуется собственно коррекция уровня значимости или тестовых p-value. Пермутационные тесты не чувствительны к несбалансированности данных, что полезно при анализе биологических данных.

См. также

Ошибки первого и второго рода

Примечания

↑ Множественная проверка гипотез (рус.). MachineLearning.ru.
↑ MCP Conference 2019 (амер. англ.). MCP Conference 2019. Дата обращения: 12 апреля 2019.
↑ Hui-Qi Qu, Matthew Tien, Constantin Polychronakos. Statistical significance in genetic association studies // Clinical & Investigative Medicine. — 2010-10-01. — Т. 33, вып. 5. — С. 266. — ISSN 1488-2353. — doi:10.25011/cim.v33i5.14351.
↑ Rothman, Kenneth J. (1990). "No Adjustments Are Needed for Multiple Comparisons". Epidemiology. 1 (1): 43—46. doi:10.1097/00001648-199001000-00010. JSTOR 20065622. PMID 2081237.
↑ Yoav Benjamini, Yosef Hochberg. Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing // Journal of the Royal Statistical Society: Series B (Methodological). — 1995-01. — Т. 57, вып. 1. — С. 289–300. — ISSN 0035-9246. — doi:10.1111/j.2517-6161.1995.tb02031.x.
↑ ¹ ² J. D. Storey, R. Tibshirani. Statistical significance for genomewide studies // Proceedings of the National Academy of Sciences. — 2003-07-25. — Т. 100, вып. 16. — С. 9440–9445. — ISSN 1091-6490 0027-8424, 1091-6490. — doi:10.1073/pnas.1530509100.
↑ Efron, Bradley; Tibshirani, Robert; Storey, John D.; Tusher, Virginia (2001). "Empirical Bayes analysis of a microarray experiment". Journal of the American Statistical Association. 96 (456): 1151—1160. doi:10.1198/016214501753382129. JSTOR 3085878.
↑ William S Noble. How does multiple testing correction work? (англ.) // Nature Biotechnology. — 2009-12. — Vol. 27, iss. 12. — P. 1135–1137. — ISSN 1546-1696 1087-0156, 1546-1696. — doi:10.1038/nbt1209-1135.
↑ Young, S. S., Karr, A. (2011). "Deming, data and observational studies" (PDF). Significance. 8 (3): 116—120. doi:10.1111/j.1740-9713.2011.00506.x.{{cite journal}}: Википедия:Обслуживание CS1 (множественные имена: authors list) (ссылка)
↑ Smith, G. D., Shah, E. (2002). "Data dredging, bias, or confounding". BMJ. 325 (7378): 1437—1438. doi:10.1136/bmj.325.7378.1437. PMC 1124898. PMID 12493654.{{cite journal}}: Википедия:Обслуживание CS1 (множественные имена: authors list) (ссылка)
↑ Anjana Grandhi, Wenge Guo, Shyamal D. Peddada. A multiple testing procedure for multi-dimensional pairwise comparisons with application to gene expression studies // BMC Bioinformatics. — 2016-02-25. — Т. 17. — ISSN 1471-2105. — doi:10.1186/s12859-016-0937-5.
↑ ScienceDirect (неопр.). www.sciencedirect.com. Дата обращения: 13 апреля 2019.
↑ Gregory S. Barsh, Gregory P. Copenhaver, Greg Gibson, Scott M. Williams. Guidelines for Genome-Wide Association Studies // PLoS Genetics. — 2012-07-05. — Т. 8, вып. 7. — ISSN 1553-7390. — doi:10.1371/journal.pgen.1002812.
↑ ¹ ² Randall C Johnson, George W Nelson, Jennifer L Troyer, James A Lautenberger, Bailey D Kessing. Accounting for multiple comparisons in a genome-wide association study (GWAS) // BMC Genomics. — 2010-12-22. — Т. 11. — С. 724. — ISSN 1471-2164. — doi:10.1186/1471-2164-11-724.
↑ Xiaoyi Gao, Joshua Starmer, Eden R. Martin. A multiple testing correction method for genetic association studies using correlated single nucleotide polymorphisms // Genetic Epidemiology. — 2008-5. — Т. 32, вып. 4. — С. 361–369. — ISSN 0741-0395. — doi:10.1002/gepi.20310.

Литература

E. L. Lehmann, J. P. Romano. Chapter 9: Multiple testing and simultaneous inference // Testing statistical hypotheses. — 3rd ed.. — New York: Springer, 2005. — 786 p.
Peter H. Westfall, S. Stanley Young. Resampling-Based Multiple Testing: Examples and Methods for p-Value Adjustment. — Wiley, 1993. — 360 p. — ISBN 978-0-471-55761-6.

[1] Множественная проверка гипотез (рус.). MachineLearning.ru.

[2] MCP Conference 2019 (амер. англ.). MCP Conference 2019. Дата обращения: 12 апреля 2019.

[3] Hui-Qi Qu, Matthew Tien, Constantin Polychronakos. Statistical significance in genetic association studies // Clinical & Investigative Medicine. — 2010-10-01. — Т. 33, вып. 5. — С. 266. — ISSN 1488-2353. — doi:10.25011/cim.v33i5.14351.

[4] Rothman, Kenneth J. (1990). "No Adjustments Are Needed for Multiple Comparisons". Epidemiology. 1 (1): 43—46. doi:10.1097/00001648-199001000-00010. JSTOR 20065622. PMID 2081237.

[5] Yoav Benjamini, Yosef Hochberg. Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing // Journal of the Royal Statistical Society: Series B (Methodological). — 1995-01. — Т. 57, вып. 1. — С. 289–300. — ISSN 0035-9246. — doi:10.1111/j.2517-6161.1995.tb02031.x.

[:0-6] ¹ ² J. D. Storey, R. Tibshirani. Statistical significance for genomewide studies // Proceedings of the National Academy of Sciences. — 2003-07-25. — Т. 100, вып. 16. — С. 9440–9445. — ISSN 1091-6490 0027-8424, 1091-6490. — doi:10.1073/pnas.1530509100.

[7] Efron, Bradley; Tibshirani, Robert; Storey, John D.; Tusher, Virginia (2001). "Empirical Bayes analysis of a microarray experiment". Journal of the American Statistical Association. 96 (456): 1151—1160. doi:10.1198/016214501753382129. JSTOR 3085878.

[8] William S Noble. How does multiple testing correction work? (англ.) // Nature Biotechnology. — 2009-12. — Vol. 27, iss. 12. — P. 1135–1137. — ISSN 1546-1696 1087-0156, 1546-1696. — doi:10.1038/nbt1209-1135.

[Deming-9] Young, S. S., Karr, A. (2011). "Deming, data and observational studies" (PDF). Significance. 8 (3): 116—120. doi:10.1111/j.1740-9713.2011.00506.x.{{cite journal}}: Википедия:Обслуживание CS1 (множественные имена: authors list) (ссылка)

[bmj02-10] Smith, G. D., Shah, E. (2002). "Data dredging, bias, or confounding". BMJ. 325 (7378): 1437—1438. doi:10.1136/bmj.325.7378.1437. PMC 1124898. PMID 12493654.{{cite journal}}: Википедия:Обслуживание CS1 (множественные имена: authors list) (ссылка)

[11] Anjana Grandhi, Wenge Guo, Shyamal D. Peddada. A multiple testing procedure for multi-dimensional pairwise comparisons with application to gene expression studies // BMC Bioinformatics. — 2016-02-25. — Т. 17. — ISSN 1471-2105. — doi:10.1186/s12859-016-0937-5.

[12] ScienceDirect (неопр.). www.sciencedirect.com. Дата обращения: 13 апреля 2019.

[13] Gregory S. Barsh, Gregory P. Copenhaver, Greg Gibson, Scott M. Williams. Guidelines for Genome-Wide Association Studies // PLoS Genetics. — 2012-07-05. — Т. 8, вып. 7. — ISSN 1553-7390. — doi:10.1371/journal.pgen.1002812.

[:1-14] ¹ ² Randall C Johnson, George W Nelson, Jennifer L Troyer, James A Lautenberger, Bailey D Kessing. Accounting for multiple comparisons in a genome-wide association study (GWAS) // BMC Genomics. — 2010-12-22. — Т. 11. — С. 724. — ISSN 1471-2164. — doi:10.1186/1471-2164-11-724.

[15] Xiaoyi Gao, Joshua Starmer, Eden R. Martin. A multiple testing correction method for genetic association studies using correlated single nucleotide polymorphisms // Genetic Epidemiology. — 2008-5. — Т. 32, вып. 4. — С. 361–369. — ISSN 0741-0395. — doi:10.1002/gepi.20310.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]