P-значение

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску

P-значение (англ. P-value), p-уровень значимости, p-критерий — вероятность получить для данной вероятностной модели распределения значений случайной величины такое же или более экстремальное значение статистики (среднего арифметического, медианы и др.), по сравнению с ранее наблюдаемым, при условии, что нулевая гипотеза верна.

Особенностью P-значений является их неустойчивость на эквивалентных выборках, что может стать препятствием для воспроизводимости результатов эксперимента[1][2][3]. Альтернативы использованию P-значений включают такие методы, как оценочная статистикаruen и фактор Байесаruen[4][5][6].

Формальное определение и процедура тестирования[править | править код]

Пример вычисления P-значения. Вертикальная координата — плотность вероятности каждого результата, вычисленная для нулевой гипотезы . Величина P-значения — область под кривой, ограниченной по оси абсцисс наблюдаемой точкой данных.

Пусть  — статистика, используемая при тестировании некоторой нулевой гипотезы . Предполагается, что если нулевая гипотеза справедлива, то распределение этой статистики известно. Обозначим функцию распределения . P-значение чаще всего (при проверке правосторонней альтернативы) определяется как:

При проверке левосторонней альтернативы,

В случае двустороннего теста p-значение равно:

Если p(t) меньше заданного уровня значимости, то нулевая гипотеза отвергается в пользу альтернативной. В противном случае она не отвергается.

Преимуществом данного подхода является то, что видно при каком уровне значимости нулевая гипотеза будет отвергнута, а при каких принята, то есть виден уровень надежности статистических выводов, точнее вероятность ошибки при отвержении нулевой гипотезы. При любом уровне значимости больше нулевая гипотеза отвергается, а при меньших значениях — нет.

Критика[править | править код]

Использование p-значений для проверки нулевых гипотез в работах по медицине, естественным наукам подвергается критике со стороны многих специалистов. Отмечается, что их использование нередко приводят к ошибкам первого рода (false positive)[7]. В частности, журнал Basic and Applied Social Psychology (BASP) в 2015 году вовсе запретил публикацию статей, в которых используются p-значения. Редакторы журнала объяснили это тем, что сделать исследование, в котором получено p < 0,05 не очень сложно, и такие низкие значения p слишком часто становятся оправданием для низкопробных исследований[8].

Неправильная интерпретация P-значений[править | править код]

Широко распространено мнение о том, что P-значения часто неверно интерпретируются и неправильно используются.[9][10][11] Одна из практик, подвергшихся особой критике, заключается в принятии альтернативной гипотезы для любого P-значения, номинально меньшего 0,05 без других подтверждающих доказательств. Хотя P-значения полезны при оценке того, насколько несовместимы данные с данной статистической моделью, необходимо также учитывать контекстуальные факторы, такие как «дизайн исследования, качество измерений, внешние доказательства изучаемого явления и обоснованность предположений, лежащих в основе анализа данных».[11] Еще одна проблема заключается в том, что P-значение часто неверно понимается как вероятность того, что нулевая гипотеза верна.[11][12] Некоторые специалисты предложили заменить P-значения на альтернативные метрики доказательности,[11] такие как доверительный интервал,[13][14] отношение правдоподобий,[15][16] или отношение апостериорных вероятностей (Bayes factors),[17][18][19] однако продолжается острая дискуссия о возможности применения таких альтернатив.[20][21] Другие специалисты предложили убрать фиксированные пороговые значения значимости и интерпретировать P-значения как непрерывные величины, характеризующие величину доказательств, направленных против правдоподобия нулевой гипотезы.[22][23]

См. также[править | править код]

Примечания[править | править код]

  1. Cumming, 2008.
  2. Nuzzo, 2014.
  3. Halsey, Curran-Everett, Vowler et al., 2015.
  4. Cumming, 2010.
  5. Taroni, Biedermann, Bozza, 2016.
  6. Goodman, 2016.
  7. Douglas H. Johnson. The Insignificance of Statistical Significance Testing (англ.) // Journal of Wildlife Management. — Wiley-VCH, 1999. — Vol. 3, no. 63. — P. 763—772.
  8. Chris Woolston. Psychology journal bans P values (англ.) // Nature News. — 2015-03-05. — Vol. 519, iss. 7541. — P. 9—9. — DOI:10.1038/519009f.
  9. Scientists Perturbed by Loss of Stat Tool to Sift Research Fudge from Fact (англ.) // Scientific American : magazine. — Springer Nature (англ.), 2015. — 16 April.
  10. Goodman S. N. Toward evidence-based medical statistics. 1: The P value fallacy. (англ.) // Annals of Internal Medicine (англ.) : journal. — 1999. — Vol. 130, no. 12. — P. 995—1004. — DOI:10.7326/0003-4819-130-12-199906150-00008. — PMID 10383371.
  11. 1 2 3 4 Wasserstein, Ronald L.; Lazar, Nicole A. (англ.). The ASA's statement on p-values: context, process, and purpose (англ.) // The American Statistician (англ.) : journal. — 2016. — Vol. 70. — P. 129—133. — DOI:10.1080/00031305.2016.1154108.
  12. Colquhoun, David. An investigation of the false discovery rate and the misinterpretation of p-values (англ.) // Royal Society Open Science (англ.) : journal. — 2014. — Vol. 1. — P. 140216. — DOI:10.1098/rsos.140216.
  13. Lee, Dong Kyu. Alternatives to P value: confidence interval and effect size (англ.) // Korean Journal of Anesthesiology (англ.) : journal. — 2017. — 7 March (vol. 69, no. 6). — P. 555—562. — ISSN 2005-6419. — DOI:10.4097/kjae.2016.69.6.555. — PMID 27924194.
  14. Ranstam, J. Why the P-value culture is bad and confidence intervals a better alternative (англ.) // Osteoarthritis and Cartilage (англ.) : journal. — 2012. — August (vol. 20, no. 8). — P. 805—808. — DOI:10.1016/j.joca.2012.04.001.
  15. Perneger, Thomas V. Sifting the evidence: Likelihood ratios are alternatives to P values (англ.) // BMJ: British Medical Journal : journal. — 2001. — 12 May (vol. 322, no. 7295). — P. 1184. — ISSN 0959-8138. — PMID 11379590.
  16. Royall, Richard. The Likelihood Paradigm for Statistical Evidence // The Nature of Scientific Evidence : [англ.]. — P. 119–152. — DOI:10.7208/chicago/9780226789583.003.0005.
  17. Replacing p-values with Bayes-Factors: A Miracle Cure for the Replicability Crisis in Psychological Science. Replicability-Index (30 апреля 2015). Дата обращения 7 марта 2017.
  18. Marden, John I. Hypothesis Testing: From p Values to Bayes Factors (англ.) // Journal of the American Statistical Association : journal. — 2000. — December (vol. 95, no. 452). — P. 1316. — DOI:10.2307/2669779.
  19. Stern, Hal S. A Test by Any Other Name: Values, Bayes Factors, and Statistical Inference (англ.) // Multivariate Behavioral Research (англ.) : journal. — 2016. — 16 February (vol. 51, no. 1). — P. 23—29. — DOI:10.1080/00273171.2015.1099032. — PMID 26881954.
  20. Murtaugh, Paul A. In defense of p-values (неопр.) // Ecology. — 2014. — March (т. 95, № 3). — С. 611—617. — DOI:10.1890/13-0590.1.
  21. Aschwanden, Christie Statisticians Found One Thing They Can Agree On: It’s Time To Stop Misusing P-Values. FiveThirtyEight (7 марта 2016).
  22. Amrhein, Valentin; Korner-Nievergelt, Fränzi; Roth, Tobias. The earth is flat (p > 0.05): significance thresholds and the crisis of unreplicable research (англ.) // PeerJ (англ.) : journal. — 2017. — Vol. 5. — P. e3544. — DOI:10.7717/peerj.3544.
  23. Amrhein, Valentin; Greenland, Sander. Remove, rather than redefine, statistical significance (англ.) // Nature Human Behaviour : journal. — 2017. — Vol. 1. — P. 0224. — DOI:10.1038/s41562-017-0224-0.

Литература[править | править код]

Ссылки[править | править код]