Использование опросов при оценке программ

Оценить ту или иную программу в широком смысле — значит сравнить интересующие показатели до и после проведения программы, на основании чего можно сделать выводы относительно её эффективности. Однако для проведения подобного сравнения необходим большой массив достоверных сопоставимых данных как минимум за два периода, без оценки которых результаты реализации программы останутся не выявленными. Самым очевидным способом сбора необходимых данных являются опросы.

Опро́с (англ. poll) — метод сбора информации со слов респондента.

Одной из главных проблем оценки программы является получение качественных и достоверных данных, сбор которых может оказаться весьма затратным как во временном, так и в денежном эквиваленте. Поэтому, чтобы усилия не оказались потраченными зря, при проведении опроса особенно важно следовать основным принципам.

Основные принципы проведения опроса

• Опрос следует проводить по репрезентативной выборке: выборка опрашиваемых должна включать в себя представителей всех основных групп, подвергшихся воздействию в рамках программы, с тем чтобы получить достоверные отвечающие реальности данные
• Необходимо тщательно продумать размер выборки: в силу существенной ограниченности ресурсов должен быть выбран оптимальный масштаб опроса, не выходящий за рамки бюджета, однако позволяющий получить достаточный объём информации
• Анкета опроса должна быть практически полезна: результатом опроса должно являться получение важной для оценки программы информации, вследствие чего вопросы должны быть составлены таким образом, чтобы респонденты могли дать на них содержательные ответы, а исследователь — получить ценную для него информацию
• Полученные ответы должны быть достоверными и непредвзятыми: в ходе опроса у респондентов не должно возникать желание исказить сведения. Благодаря правильному составлению вопросов проблемы предвзятости ответов можно избежать, получив, тем самым, достоверные данные
• До проведения опроса необходимо изучить уже имеющиеся данные: интересующая исследователя информация могла быть собрана до него негосударственными организациями или государственными органами. Это существенно расширит объем располагаемых знаний относительно изучаемого вопроса, а также поможет значительно сократить собственные издержки сбора информации

Однако получение действительно качественной и необходимой исследованию информации требует не только следования основным принципам. Кого необходимо опросить для получения сопоставимых и говорящих об эффективности проводимой программы данных? Когда это нужно делать? Ответы на эти вопросы устанавливаются в рамках дизайна исследования.

Дизайн исследования

Дизайн исследования (англ. research design) — форма проведения исследования, в рамках которого в том числе специфицируется метод сбора сопоставимых данных для оценки эффективности программы. Делая акцент на использовании сравнительных данных для интерпретации эффекта программы, именно дизайн исследования определяет, являются ли выявленные изменения следствием реализации оцениваемой программы, или же представляют собой плоды действия внешних переменных.

Среди различных типов дизайна исследования можно выделить две основные категории: экспериментальный (англ. true-experimental design) и квази-экспериментальный дизайн (англ. quasi-experimental design).

Экспериментальный дизайн

Экспериментальный дизайн (англ. experimental design) представляет собой способ проведения исследования, при котором объекты исследования (студенты, учителя, пенсионеры — то есть целевая аудитория программы) случайно распределяются в две группы: группу, подвергаемую воздействию в рамках программы, и контрольную группу, то есть базу для сравнения. Одним из наиболее часто используемых экспериментальных дизайнов является дизайн рандомизированной выборки.

Дизайн рандомизированной выборки

Дизайн рандомизированной выборки (англ. randomized control trials, RTC) — это форма проведения экспериментального исследования, в котором эффекты одного или более вмешательств оцениваются на основе случайного рандомизированного распределения объектов в экспериментальные и контрольные группы. Рандомизированное распределение объектов по группам означает, что каждый из них имеет одинаковые шансы оказаться в программе. Экспериментальная группа подвергается воздействию программы, в то время как контрольная группа ему не подвергается и используется как база для сравнения. После реализации программы путём опросов всех групп исследователи пытаются понять, насколько существенны изменения в экспериментальной группе по сравнению с контрольной.

Только случайное распределение дает уверенность в том, что группы действительно сопоставимы, а наблюдаемые различия в результатах не являются следствием посторонних факторов или существующих ранее различий. Например, какой вывод можно сделать на основе того, что подвергавшаяся воздействию группа студентов показала лучшие результаты, чем контрольная группа, если с первой группой студентов до программы занимались более квалифицированные и креативные преподаватели, нежели со второй? Чем объяснить наблюдаемое различие между группами: эффектом программы или же изначально существующими между ними различиями? Случайное же распределение студентов по группам показало бы лишь эффект от программы.

Ограничения применения экспериментальных дизайнов

Однако использование экспериментального дизайна имеет свои ограничения. Экспериментальный дизайн как правило непригоден для анализа сложных программ, где, как в большинстве политических программ, полученные результаты являются следствием одновременного взаимодействия сразу нескольких факторов, которое экспериментальный дизайн в большинстве случаев уловить не может.

Проблемы возникают потому, что исследователь оказывается не в состоянии элиминировать воздействие всех возможных внешних факторов, а подчас это оказывается и не нужным. Ведь в реальности случайное распределение студентов выглядит не правдоподобным, а целью реализации любой программы является воздействие на то распределение объектов, которое имеет место в реальности на разных территориях. А значит и эффективность программы зачастую нужно оценивать вкупе с внешними факторами. В результате этого, в рамках рандомизированной выборки сложно оценить причинно-следственную связь между результатами и факторами, а значит эффективность программы и методы её улучшения вряд ли могут быть определены.

Квази-экспериментальный дизайн

Квази-экспериментальный дизайн (англ. quasi-experimental design) — способ проведения исследования, при котором акцент с вероятностного распределения и причинно-следственных связей экспериментальных дизайнов перемещается на анализ взаимодействия между переменными. Квази-экспериментальные дизайны обычно используются в оценке программ, когда случайное распределение не возможно или не практично. Однако, несмотря на частоту использования, квази-экспериментальным дизайнам свойственны некоторые проблемы интерпретации. Часто используемые типы квази-экспериментальных дизайнов включают многтчисленные дизайны неэквивалентных групп (англ. nonequivalent group design) и дизайн временного ряда (time-series design).

Дизайн неэквивалентных групп

Дизайн неэквивалентных групп с оценкой после вмешательства (англ. Nonequivalent group, posttest only) включает в себя измерение результатов путём опросов в двух экспериментальных группах, но только после реализации программы. Например одна группа студентов могла получить инструкцию по чтению на иностранном языке с использованием упражнений и правил всего курса в целом, другая же — лишь инструкцию по фонетике. А по прошествии двух недель проверочный тест показывал бы, какая из двух программ была более эффективной. Однако главным недостатком является проблема интерпретации полученных результатов, так как становится непонятно, являются ли лучшие результаты в чтении одной группы следствием реализации программы, или же группы изначально отличались разными способностями к иностранным языкам.

Дизайн неэквивалентных групп с оценкой до и после вмешательства

Дизайн неэквивалентных групп с оценкой до и после вмешательства (англ. Nonequivalent group, pretest-posttest) частично элиминирует главный недостаток предыдущего дизайна с оценкой только после вмешательства. В рамках данного дизайна исследователь в самом начале эксперимента эмпирически оценивает различия двух групп — то есть имеет место оценка до проведения программы. Таким образом, если исследователь при оценке изменений после проведения программы обнаружит, что одна из групп показала лучшие результаты, он может исключить влияние изначальных различий в пользу этой группы (если таковых установлено не было) или же наоборот сделать выводы относительно влияния этого фактора вкупе с воздействием программы.

Дизайн «один к одному»

Особенностью дизайна «один к одному» (англ. One to one matched comparison group design) является то, что как экспериментальная, так и контрольная группа выбираются уже после реализации изучаемой программы. Экспериментальная группа набирается из тех, кто подвергся влиянию программы, в базу для сравнения включаются те, кто сам решил в этой программе не участвовать, но подходил по всем характеристикам и получал «приглашение». Таким образом, этот дизайн выигрывает по сравнению с остальными тем, что сравнение происходит между двумя в иедале совершенно идентичными группами людей: как будто до и после проведения программы. Однако на практике оказывается очень сложным найти подобную контрольную группу, так как всегда имеют место те или иные внешние факторы.

Дизайн временного ряда

Дизайн временного ряда (англ. Time series design) включает в себя неоднократную оценку текущих изменений в двух группах — контрольной и экспериментальной — как до проведения программы, так и в процессе её реализации. Серия наблюдений за двумя группами обеспечивает получение всеобъемлющей информации о постепенных изменениях под влиянием программы, а значит дизайн оказывается наиболее чувствительным к определению общего тренда происходящих изменений. Однако несмотря на все преимущества дизайну временного ряда хоть и в меньшей степени свойственны все недостатки и ограничения квази-экспериментальных дизайнов.

Литература

• Campbell DT, Stanley JC: Experimental and Quasi-experimental Designs for Research. Chicago: Rand-McNally, 1963
• Cook TD, Campbell DT: Quasi-experimentation. Chicago: Rand-McNally, 1979
• David M. Streinberg, William G. Hunter Experimental design: review and comment. University of Wisconsin, Madison 1984
• John Bynner Experimental research strategy and evaluation research designs. British Educatiobal Research Journal, 1980
• Вводное руководство по проведению анализа регулирующего воздействия (АРВ)