Все пути ведут к интеграции

В 2021 году меня пару раз приглашали сделать презентацию о тенденциях в сфере оценки, и в процессе подготовки я осознала интересную закономерность. Регулярно появляется какой-то новый подход, авторы которого объявляют его единственно правильным. В профессиональном сообществе специалистов по оценке вокруг этого подхода возникает активная дискуссия, в ходе которой ломается немало копий. Но со временем авторы подхода осознают, что он не позволяет ответить на все вопросы тех, кто реализует социальные проекты и программы, и что принцип выбора методов в зависимости от задачи, принятый в сфере оценки, все-таки рабочий, и начинают ему следовать. А для остальных специалистов по оценке новый подход становится одним из инструментов в их рабочем арсенале. Я подозреваю, что то, что оценка почти всегда делается на средства заказчика, существенно ускоряет данный процесс.

Относительно недавно по этому пути прошли авторы рандомизированных контрольных испытаний: оценки с экспериментальной и контрольной группами. Подход позиционировался как единственный, который позволяет достоверно показать эффективность какой-то модели воздействия, и его активно поддерживали многие влиятельные организации. Было много дискуссий, что эксперимент не единственный способ выявить наличие причинно-следственной связи между воздействием и получаемыми результатами. Было громкое исследование под руководством Элиота Стерна, которое показало, что рандомизированные контрольные испытания можно использовать только примерно для пяти процентов проектов. Но решающее слово, похоже, сказали заказчики оценки.

В одной стран Южной Азии решили внедрить модель, которая уже показала свою эффективность в Африке. Матерей маленьких детей обучали, как готовить им еду так, чтобы они получали больше питательных веществ, что должно было решить проблему отставания детей в развитии. Программа сопровождалась рандомизированными контрольными испытаниями. Измеряли рост и вес детей в контрольной и экспериментальной группах. Результат оказался неожиданными: между контрольной и экспериментальной группами не было никакой разницы. Заказчик считал, что так быть не может, потому что программа хорошо работала в других местах, а оценка не могла объяснить, что происходит.

Стали разбираться, и провели фокус-группы с женщинами, которых обучали в рамках программы. Оказалось, что они прекрасно знали, как нужно кормить детей, но не могли применить эти знания: покупкой продуктов в семье занимается муж, а что готовить - решает его мать, а с ними программа не работала.

Впервые я услышала эту историю в 2013 году на конференции Сообщества специалистов по оценке Южной Азии от Говарда Вайта, который в то время считался одним из главных поборников рандомизированных контрольных испытаний в мире. А тут он вдруг публично заявил, что рандомизированные контрольные испытания не дают информации о механизмах работы проектов, и в рамках оценки нужно сочетать различные методы, чтобы лучше понять, что происходит. В 2019 году эта же идея появилась в стратегии J-PAL, международного исследовательского центра, основанного в том числе Эстер Дюфло и Абхиджитом Банерджи, авторами подхода к оценке, основанного на рандомизированных контрольных испытаниях.

Нужно отметить, что подход этот также называют оценкой импакта. И только она более-менее интегрировалась в общее поле оценки, как тема оценки импакта появилась уже в новом контексте – в связи с импакт-инвестициями. Развивать ее начали люди из бизнес-сообщества, которые были далеки от практики оценки социальных программ в государственном и некоммерческом секторе. Первые попытки найти общий язык между специалистами по оценке социальных проектов и специалистами по измерению социального импакта были предприняты в середине 2010-х, и сейчас происходит постепенная интеграция между этими сферами. Например, в сфере импакт-инвестиций используется такой инструмент из арсенала оценки как теория изменений.

Еще одно направление, которое изначально «отмежевывалось» от «традиционной» оценки проектов, – оценка социального возврата на инвестиции (social return on investment – SROI), которая предполагает монетизацию как затрат на реализацию проекта, так и результатов, полученных непосредственными благополучателями, и расчет их соотношения. Когда этот подход появился, авторы позиционировали SROI как единственно правильный подход к оценке социальных проектов, который позволит сравнивать между собой любые проекты. В последнее время риторика поменялась. Несколько лет назад я была на семинаре по SROI, где представители Social Value International, которое продвигает его, уже говорили, что проекты сравнивать между собой не получится, но можно анализировать динамику работы одного проекта или организации. А сейчас у них на сайте есть материалы, посвященные тому, как определить ценность проекта, не используя SROI и монетизации, близкие к «традиционной» оценке социальных проектов.