Терминология оценки вероятности (разведка)

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Терминология оценки вероятности (англ. Words of estimative probability, WEP или WEPS) — часть инструментария анализа разведывательных данных, которая позволяет оценивать вероятность будущих событий. По оценкам аналитиков разведки, адекватная терминология оценки вероятности позволяет формулировать чёткие оценки, на основании которых принимаются политические решения. Несмотря на важность единообразной терминологии в данной сфере, в разведывательном сообществе США, например, не имеется стандартной WEP. По некоторым оценкам, ряд политических и разведывательных провалов был обусловлен некорректным использованием терминологии вероятностных оценок.

История[править | править вики-текст]

Разведка[править | править вики-текст]

В 1964 году ветеран ЦРУ Шерман Кент (англ.)русск., нередко именуемый «отцом разведывательного анализа», обратился к проблеме неточности терминологии, используемой в аналитических документах, которые готовятся разведывательным сообществом США. В своей статье Терминология оценки вероятности (англ. Words of estimative probability) Кент исследовал различие в стиле оформления аналитических документов спецслужб между «поэтами» (авторами, которые предпочитают многословные вероятностные заявления) и «математиками» (теми, кто предпочитает давать количественные оценки). Кент разработал свою парадигму выработки оценочной терминологии. Его целью было «…выработать для разведывательного сообщества инструментарий, который бы позволял лицу, читающему документ, получить ясное представление, по каким аспектам проблемы имеются точные сведения, что является обоснованным выводом, и с какой степенью уверенности можно принимать последующие ключевые решения»[1]. Инициатива Кента не была принята разведывательным сообществом, хотя остаётся актуальной до настоящего времени.

Таблица 1: Терминология оценки вероятности Кента[2]
Точно (англ. Certain) 100 % Сомнений — 0 %
Сфера возможного
Почти наверняка (англ. Almost Certain) 93 % Сомнений — 6 %
Вероятно (англ. Probable) 75 % Сомнений — 12 %
Шансы примерно равны (англ. Chances About Even) 50 % Сомнений — 10 %
Вероятно, нет (англ. Probably Not) 30 % Сомнений — 10 %
Почти наверняка нет (англ. Almost Certainly Not) 7 % Сомнений — 5 %
Невозможно (англ. Impossible) 0 Сомнений — 0 %

Медицина[править | править вики-текст]

В медицине существует аналогичная проблема при получении информированного добровольного согласия пациентов, когда необходимо сообщить в доступной форме фактическую вероятность того или иного варианта результатов лечения. При этом крайне редко встречаются количественные оценки такой вероятности.

Руководство по получению информированного добровольного согласия от людей, участвующих в исследованиях или подвергающихся рискованным медицинским процедурам, разработанное в исследовательском Университете Теннесси в Чаттануге предлагает следующую терминологию оценок шансов неблагоприятного исхода:

Термин Вероятность
Возможно Ожидается, что произойдёт более чем в 50 % случаев
Часто Ожидается, что может произойти от 10 до 50 % случаев
Маловероятно Ожидается, что может произойти от 1 до 10 % случаев
Редко Ожидается, что может произойти менее чем в 1 % случаев

Как отмечено в руководстве:

При исследовании действий экспериментальных доз или комбинаций препаратов и/или лечебных процедур, участники исследования должны быть предупреждены, что могут быть неизвестные риски, связанные с препаратами/лечением, но они будут проинформированы при появлении любой новой информации, которая может повлиять на их желание участвовать в исследовании

http://www.utc.edu/Administration/InstitutionalReviewBoard/faq.php Institutional Review Board Frequently Asked Questions

Политические и разведывательные провалы, связанные с терминологией оценки вероятности[править | править вики-текст]

Ежедневное президентское резюме от 6 августа 2001

Американский аналитик Д. Вожны рассматривает в качестве примера ущерба, который может нанести отсутствие или расплывчатость оценочной терминологии в аналитических документах спецслужб, эпизод с Ежедневным президентским резюме от 6 августа 2001 года, озаглавленном «Бен Ладен намерен атаковать США» (Bin Laden Determined to Strike in US).

Ежедневное президентское резюме (англ. President's Daily Brief, PDB) — документ, который Директор Национальной разведки ежедневно представляет президенту США. PDB готовится группой аналитиков из Управления Директора национальной разведки и предназначено для ознакомления президента США с разведывательными данными, касающимися значимых для интересов США международных ситуаций.

Ситуация с резюме от 6 августа 2001 года находится в центре многих дискуссий в разведывательном сообществе США. Этот документ имеет не только расплывчатый заголовок, но и столь же неясное содержание:

  • «Бен Ладен с 1997 года хотел провести теракты в США» (CIA, 2001, п.1.);
  • «предполагается, что последователи Бен Ладена могут вести борьбу в Америке» (CIA , 2001, п.1.);
  • «атаки Бен Ладена на американские посольства… в 1998 году показывают, что он готовит операции на годы вперёд и его не останавливают неудачи» (CIA , 2001, п.6.);
  • «Информация ФБР …указывает на подозрительную активность в этой стране, с подготовкой угонов или других типов атак» (CIA , 2001, п.10.);
  • «в обращении посольства [США] в ОАЭ в мае [говорится], что группа сторонников Бен Ладена планирует нападение в США с использованием взрывчатки» (CIA , 2001, п.11.) .[3]

Поскольку данное резюме не содержало описания предыдущей деятельности Бен Ладена, оно не позволяло президенту дать ясную оценку деятельности Бен Ладена в ближайшие месяцы:

Как сообщили осведомлённые источники, Буш просил разведку предоставить анализ возможных атак Аль-Каиды на территории Соединенных Штатов, поскольку большая часть информации, представленной ему этим летом касалась возможных угроз от Аль-Каиды для американских объектов за рубежом. Один из источников заявил, что Белый дом был разочарован, потому что анализ не содержал точных выводов и не представлял новых разведывательных данных.

http://www.commondreams.org/headlines02/0518-04.htm August Memo Focused On Attacks in U.S

Отсутствие надлежащей оценочной терминологии привело к путанице по поводу вероятности террористической атаки и её возможной дате. В результате теракты 11 сентября 2001 года застали врасплох разведывательное сообщество США.

Выводы комиссии по расследованию терактов 11 сентября (англ.)русск. и комиссии по оружию массового поражения Ирака (англ.)русск.привели к структурной реформе разведывательного сообщества США. Эти реформы были направлены на улучшение функционирования разведывательного сообщества в целом, в частности в плане межведомственного сотрудничества и обмена информацией, но при этом уделили мало внимания повышению качества анализа разведывательных данных и подготовки аналитических документов[4].

Методологии разработки оценочной терминологии[править | править вики-текст]

Оценочная терминология может быть улучшена четырьмя путями:

Количественные оценки надежности и достоверности источников информации[править | править вики-текст]

Как отмечал в статье в «Вашингтон Пост» Майкл Шредж, советник Программы исследований безопасности из Массачусетского технологического института (MIT), требование к аналитикам разведки включать в свои документы количественные показатели надёжности и достоверности источника информации уменьшило бы двусмысленность этих документов[5][6]. Шредж также сообщил, что бывший временно исполняющий обязанности директора ЦРУ Джон Маклафлин (англ.)русск. пытался внедрить такие требования в ЦРУ, но, как и инициатива Кента, это предложение не было принято.

"Бывший исполняющий обязанности директора ЦРУ и аналитик разведки с большим стажем Джон Маклафлин пытался в 1990-х внедрить оценочную терминологию в работу аналитиков разведки, но безуспешно. Как сказал мне высокопоставленный сотрудник ЦРУ с более чем 20-летним стажем работы, «аналитики разведки предпочитают использовать слова, нежели цифры, чтобы описать, насколько они уверенны в результатах анализа». Более того, «большинство потребителей аналитических материалов разведки предпочитают не слишком сложные для восприятия материалы, они любят слова и картинки. Мой опыт показывает, что [они] предпочитают краткие материалы, не делающие акцента на математических расчётах. Это не значит, что мы не можем этого сделать, но спрос на такие материалы действительно невелик»[7].

Стохастический анализ[править | править вики-текст]

Количественные оценки вероятности, широко применяемые в бизнес-прогнозировании, маркетинге, медицине (в частности, эпидемиологии), включая такие инструменты, как теория вероятностей и байесовский анализ, также могут использоваться разведывательным сообществом. Использование аппарата теории вероятностей и других стохастических методов привлекательно тем, что они являются рациональными и математически строгими, и в меньшей степени зависят от «человеческого фактора», в силу чего выводы на их основе кажутся однозначными. Основным аргументом против использования этих методов является то, что лишь небольшое количество аналитиков разведки и потребителей разведывательной аналитики способны производить численные расчеты. Помимо этого, по оценке директора Центра оборонной информации (англ.)русск. Брюса Блэра, разведывательная информация из секретных источников часто имеет неизвестную достоверность, и применение передовых математических методов не позволяет повысить её достоверность. Тем не менее Блэр является сторонником внедрения количественных методов в аналитических подразделениях разведсообщества, но при этом полагает, что внедрение стохастического анализа в них — довольно отдалённая перспектива. Математический и статистический анализ требует большого объёма работы без быстрой адекватной отдачи в повышении точности, скорости или качества деятельности[8].

Стандартизация[править | править вики-текст]

Рекомендации Национального совета по разведке (англ.)русск. США предполагают использование парадигмы WEP (Таблица 2) в сочетании с оценкой уровня доверия («высокий, средний, низкий»), основанном на объёме и качестве вспомогательной информации:

Таблица 2: Терминология оценки вероятности Национального совета по разведке США[9]
Почти наверняка (англ. Almost Certainly)
Вероятно/Возможно (англ. Probably/Likely)
Скорее возможно (англ. Even Chance)
Маловероятно (англ. Unlikely)
Исключено (англ. Remote)

Тем не менее, дискуссии внутри самого Национального совета по разведке говорят о серьёзных сомнениях в эффективности данной парадигмы:

«Суждения аналитиков разведки, относящиеся к вероятности, призваны отразить ощущение разведсообщества в отношении вероятности события или развития событий. […] Мы не намерены использовать термин „маловероятно“, подразумевая, что событие не произойдет. Мы используем термины „вероятно“ и „возможно“, чтобы показать, что вероятность события больше, чем просто шанс. Мы используем такие слова, как „мы не можем исключать“, и „мы не можем сбрасывать со счёта“, чтобы отразить маловероятное — или даже невероятное — событие, которое не заслуживает такого упоминания. Такие слова, как „может быть“ и „предполагаем“ используются для отражения ситуации, в которых мы не в состоянии оценить вероятность вообще, потому что соответствующая информация не существует, отрывочны, или носит фрагментарный характер»[10].

В 1964 году Ш.Кент выступал против использования в аналитических документах «выражений … которые передают определенный смысл, но в то же время либо полностью освобождает нас от ответственности, либо делают оценку достаточно удаленной … ,во избежание последствий для себя»[11].

Стандартизация оценочной терминологии (подход института Меркихёрста)[править | править вики-текст]

Институт исследований разведки при университете Меркихёрста (англ.)русск. в Эри (штат Пенсильвания) провёл исследования интерпретаций оценочной терминологии Национальным советом по разведке[12][13]) and[14]. Результаты исследований показали, что использование оценочной терминологии (WEPS) в Национальном совете по разведке (англ. National Intelligence Council, NIC) в последние три десятилетия привело к существенным изменениям в способах формулирования решений по вопросам разведки[14].

Оценочная терминология в парадигме института Меркихёрст является модифицированной схемой Кента :

Таблица 3: Терминология оценки вероятности Института исследований разведки Меркихёрста[4]
Almost Certain
Highly Likely
Likely/Probable
Unlikely
Almost Certainly Not

Достоверность и надёжность источника информации выражаются числом от 1 до 10 (10 — максимальная оценка).

Нежелательная терминология[править | править вики-текст]

Таблица 4 содержит перечень терминов, которые являются особенно расплывчатыми и известны как слова из неавторитетных источников. Их использование в оценочных заявлениях почти наверняка приведёт к путанице, поэтому в документах их следует избегать любой ценой[15].

Таблица 4: Ложная терминология оценок вероятности, которой следует избегать
Might Its conceivable
Could May
Possibly We believe that… (…or not)
Maybe estimate that… (…or not)
A chance cannot rule out
cannot dismiss cannot discount
suggest perhaps

См. также[править | править вики-текст]

Примечания[править | править вики-текст]

  1. «Sherman Kent and the Profession of Intelligence Analysis», Center for the Study of Intelligence, Central Intelligence Agency, November 2002, с. 50, <https://www.cia.gov/library/kent-center-occasional-papers/vol1no5.htm> 
  2. «Sherman Kent and the Profession of Intelligence Analysis», Center for the Study of Intelligence, Central Intelligence Agency, November 2002, с. 55, <https://www.cia.gov/library/kent-center-occasional-papers/vol1no5.htm> 
  3. Wozny, J.L. (2005), «Optimizing Communication Between Decisionmakers And Intelligence Analysts: Stopping "Slam Dunks" And Avoiding "Dead Wrongs" (MS Thesis)», Erie, PA: Mercyhurst College, с. 192 
  4. 1 2 Wheaton, K. & Chido, Diane (2008), "«Words of Estimative Probability»", Competitive Intelligence Magazine (Alexandria, VA: Society of Competitive Intelligence Professionals), ISSN 1521-5881, <http://www.scip.org/Publications/?navItemNumber=498> 
  5. Schrage, Michael, «Michael Schrage homepage at the Massachusetts Institute of Technology», <http://ebusiness.mit.edu/schrage/>  (недоступная ссылка)
  6. Schrage, Michael (20 February 2005), "«What Percent Is 'Slam Dunk'? Give Us Odds on Those Estimates»", Washington Post: B01, <http://www.washingtonpost.com/wp-dyn/articles/A37115-2005Feb19.html> 
  7. Schrage, 2003
  8. Blair, Bruce (2004), «The Logic of Intelligence Failure», Center for Defense Information, с. 11, <http://www.cdi.org/blair/intel_failure.pdf>. Проверено 21 апреля 2008. 
  9. «Prospects for Iraq's Stability: A Challenging Road Ahead», National Intelligence Council, 2007, с. 5, <http://www.dni.gov/press_releases/20070202_release.pdf>. Проверено 21 апреля 2008. 
  10. National Intelligence Council, 2007, p5
  11. «Sherman Kent and the Profession of Intelligence Analysis», Center for the Study of Intelligence, Central Intelligence Agency, November 2002, с. 63, <https://www.cia.gov/library/kent-center-occasional-papers/vol1no5.htm> 
  12. Sources And Methods: What Do Words Of Estimative Probability Mean? (Final Version With Abstract)
  13. Wheaton, K. (24 March 2008), «What Do Words Of Estimative Probability Mean? An Exercise In Analyst Education», <http://sourcesandmethods.blogspot.com/2008/03/what-do-words-of-estimative-probability.html>. Проверено 24 апреля 2008. 
  14. 1 2 Kesselman, Rachel (26 March 2008), "Estimative Words of Probability Trends in National Intelligence Estimates", «International Studies Association 49th Annual Convention: Bridging Multiple Divides», <http://www.allacademic.com/meta/p251711_index.html> 
  15. Вашингтон Плэтт Информационная работа стратегической разведки. Основные принципы. — М.: Издательство иностранной литературы, 1958. — С. 251. — 338 с.

Литература[править | править вики-текст]