Измерение импакта: модель B4SI

Готовилась к разговору об оценке импакта/воздействия, и решила посмотреть, что нового у LBG (London Benchmarking Group – Лондонской группы бенчмаркинга). LBG - это сеть компаний, которые объединились, чтобы измерять импакт своих социальных инвестиций по общей модели и сравнивать себя друг с другом.

Оказалось, они поменяли название на B4SI - Business for Societal Impact – Бизнес за общественно-значимое воздействие, а также модель для измерения импакта. Модель B4SI шире, чем модель LBG. Модель LBG фокусировалась на инвестициях бизнеса в сообщества (Community Investment). Модель B4SI, принятая в 2018 году, включает также блоки «Бизнес-инновации для создания социального воздействия» (Business Innovation for Social Impact) и «Создание социального воздействия через систему закупок» (Procurement for Social Impact).

При этом при смене модели сохранилась одна существенная особенность. В «традиционной» оценке социальных проектов широко используется модель input – output – outcome– impact, где инпут – то, что вы вложили в реализацию, аутпут – непосредственный результат ваших действий, ауткам – изменения, которые произошли затем с участниками действий, импакт - изменения в сообществе, где эти участники живут. В принципе, модель не предполагает, что в цепочке должно быть только три уровня результатов, а подчеркивает, что к конечному результату приводит череда последовательных изменений. В модели LBG и теперь уже B4SI нет уровня outcome, цепочка выглядит так: input – output – impact, то есть все результаты после непосредственных – это импакт/воздействие.

Другая особенность – модель включает не только результаты для людей и сообществ, но и результаты для бизнеса.

Модель B4SI

	Inputs – Вложенные ресурсы	Outputs – Непосредственные результаты	Impact - Воздействие
Инвестиции в сообщества	Как, почему, что и где	Результаты для сообщества Результаты для бизнеса Дополнительно привлеченные ресурсы	Социальное воздействие Воздействие на бизнес
Бизнес-инновации для создания общественно-значимого воздействия	Финансовые инвестиции Другие ресурсы	Результаты для сообщества Результаты для бизнеса Дополнительно привлеченные ресурсы	Социальное воздействие Воздействие на бизнес
Создание общественно-значимого воздействия через систему закупок	Затраченное время и усилия Административные затраты	Результаты для сообщества Результаты для бизнеса Дополнительно привлеченные ресурсы	Социальное воздействие Воздействие на поставщиков Воздействие на бизнес

Для блока «Инвестиции в сообщества» есть подробное руководство по измерению результатов. Мне очень понравилось, что в нем написано по поводу импакта. Сразу сказано, что существует множество интерпретаций того, что такое импакт: кто-то относит к импакту все изменения, которые происходят благодаря достижению непосредственных результатов, а кто-то использует еще один промежуточный уровень результатов – outcome. При этом отличить outcome от impact сложно. Кроме того, по мнению B4SI, в большинстве случаев невозможно отследить долгосрочные социальные результаты инвестиций. Так что B4SI принимает прагматичную позицию, что импактом будут считаться все результаты после непосредственных, которые можно измерить.

Учитывая, что B4SI исходит из того, что бизнес будет сам собирать все данные, я с таким подходом согласна. Еще мне пришло в голову, что в русскоязычном пространстве нам было бы удобно взять на вооружение деление результатов на непосредственные и импакт/воздействие, при этом понимая, что в зоне импакта цепочки изменений могут быть длинными. И перестать мучаться с переводом термина outcome.

Мне также нравится, что при анализе воздействия проектов на людей модель B4SI предлагает разделять полученные результаты по типу воздействия (я бы это скорее назвала целью): изменение поведения, формирования новых знаний и навыков, или изменение качества жизни. А также по глубине воздействия: от незначительного, когда, например, человек только получил какую-то новую информацию, до существенного, если у человека в жизни произошли какие-то изменения в жизни, и трансформирующего, когда человек поменял поведение.

Кроме того, на уровне импакта в модель B4SI включили экологические аспекты воздействия, что, на мой взгляд, отражает растущее понимание, что качество окружающей среды и качество жизни людей тесно связаны.

Модель B4SI для инвестиций в сообщество

Как работают профессиональные объединения

В прошлом году меня пригласили войти в состав Консультативного комитета международной инициативы EvalPartners (Партнеры по продвижению оценки), которая объединяет региональные и национальные объединения специалистов по оценке, а также сообщества специалистов по оценке внутри крупных международных структур, например ООН. Задача комитета – давать советы по запросу нынешнего руководства EvalPartners. В состав комитета входят люди, которые в прошлом занимали руководящие позиции в EvalPartners. Например, я была сопредседателем EvalPartners в 2013–2015 годах.

Это был очень необычный и интересный опыт, который дал мне возможность познакомиться с работой профессиональных объединений специалистов по оценке в разных странах и регионах мира. Я тогда сформулировала на его основе пару простых правил, которые, по моим наблюдениям, позволяют этим объединениям успешно работать.

Члены правления профессионального объединения – волонтеры, а волонтер будет делать только то, что хочет и считает важным сам. Я много раз видела, как люди соглашались сделать что-то под давлением коллег, но потом обстоятельства всегда складывались так, что у них не оказывалось времени и возможности выполнить обещанное. Поэтому, на мой взгляд, правлению, во-первых, стоит использовать принцип работы импровизационного театра: никогда нельзя отвергать предложение партнера по «сцене». Его можно обыграть, развить, но только не отвергнуть. Иначе работа правления легко заходит в тупик, из которого очень сложно выйти. Второе правило – члену правления стоит добиваться того, чтобы коллеги приняли его идею, только если он готов лично взяться за ее реализацию. Иначе есть риск, что она так и останется идеей.

По-другому правление может работать, только когда у профессионального объединения появляется возможность нанять сотрудников, и можно разделить принятие решений и их исполнение.

Профессиональные термины в сфере оценки: стоит ли экономить слова?

Мы так близки, что слов не нужно… Люди, принадлежащие к каким-то сообществам, в том числе профессиональным, часто вырабатывают общий язык, понятный только внутри сообщества. Самый типичный пример этого – профессиональные термины, когда сложное понятие «упаковывается» в одно-два слова. Это сильно упрощает коммуникацию внутри сообщества, потому что можно передать большой объем смысла минимумом слов. Иногда профессионалы понимают друг друга буквально с полуслова. Но, с другой стороны, это затрудняет распространение идей за пределы профессионального сообщества.

В прошлом году я давала интервью журналистке из «Коммерсанта» для статьи про измерение результатов социальных проектов. В конце нашего разговора она спросила, как меня называть в статье.

– Я специалист по мониторингу и оценке.

– По оценке чего?

– (Пауза) Проектов социальной направленности.

Мы – наше профессиональное сообщество – в своей время перевели английское «evaluation» как «оценка», и так его и используем. Но при этом рядом с нами существуют и оценка рисков, и оценка экологического воздействия, и оценка социального воздействия (например, какой-то компании на местное сообщество, где находится ее предприятие). И, на мой взгляд, пока мы не начнем использовать терминологию, которая будет интуитивно понятна более широкому кругу людей, нам будет сложно продвинуть нашу «оценку» как вид профессиональной деятельности.

На практике, на мой взгляд, это означает, что не нужно стремиться, чтобы в русском переводе какого-то термина было столько же слов, сколько в английском оригинале, тем более что у нас логика языка совершенно другая. Пусть будут длинные термины. Не оценка – а оценка социальных проектов или проектов социальной направленности. Не импакт или воздействие – а воздействие проекта (или организации) на социальную (или экологическую) ситуацию.

Оценка как процесс коммуникации

Шри-Джаяварденепура. Это не заклинание, а название одного из старейших университетов Шри-Ланки. С 2015 года там действует годичная программа дополнительного образования по оценке. Меня периодически приглашают прочитать какую-нибудь лекцию ее участникам. В 2021 году попросили выступить на тему коммуникации в процессе оценки.

Коммуникацию обычно определяют как процесс передачи информации от одного человека (передатчика) к другому (приемнику) по разным каналам. Когда я готовилась к лекции, то поняла, что в процессе оценки я постоянно занимаюсь коммуникацией – с клиентами, членами команды оцениваемого проекта, благополучателями и другими заинтересованными сторонам. Причем как специалист по оценке я выступаю в качестве как приемника информации, так и передатчика.

Некоторые закономерности, о которых пишут в литературе по коммуникации, произвели на меня сильное впечатление. Например, соотношение 7—38—55: когда мы говорим человеку о чем-то, то 55% информации он воспринимает визуально, 38% — через тон нашего голоса, и всего 7% — через слова, по вербальному каналу. Или данные об эффективности восприятия информации: в среднем человек запоминает 10% того, что прочитал, 20% того, что услышал, 30% того, что увидел, 70% того, что обсуждал с другими людьми, и 95% того, о чем рассказывал другим людям.

Главные выводы, которые я для себя сделала:

• Нужно как можно больше общаться с заказчиком в ходе оценки.
• Нужно в ходе этого общения использовать как можно больше визуальной информации (графики, схемы, рисунки).
• Нужно максимально вовлекать заказчика в процесс интерпретации полученных данных, обсуждение выводов и рекомендаций оценки.

Почему не может быть единой модели для измерения импакта

Любопытно, что у людей, которые начинают работать в сфере оценки, есть потребность найти единственный правильный подход. Например, в 2021 году Институт исследований быстроразвивающихся рынков Московской школы управления СКОЛКОВО представил результаты исследования ««Золотой стандарт» импакта: лучшие кейсы и практики по оценке социального воздействия бизнеса», проведенного совместно с компанией РУСАЛ и при поддержке Форума Доноров. О планах разработать унифицированный подход к измерению импакта рассказал на конференции АСОПП представитель одного из благотворительных фондов.

Исследование СКОЛКОВО в качестве универсального подхода к оценке импакта предлагает использовать старую добрую триаду «output – outcome – impact», причем без перевода. Эти термины действительно плохо переводятся на русский язык. Вам могли попадаться такие варианты перевода этой триады, как «краткосрочный результат – среднесрочный результат – долгосрочный результат», «непосредственный результат – промежуточный результат – влияние/ воздействие». В точки зрения заложенных смыслов output (аутпут) означает результат, который исполнители проекта «сделали своими руками», outcome (ауткам) – это то, что «произошло» потом с непосредственными благополучателями проекта, а impact (импакт) – это изменения, которые произошли дальше. Иногда impact интерпретируют как изменения в сообществах, где живут непосредственные благополучатели. Суть в том, что речь идет о цепочке связанных результатов, по мере движения вдоль которой степень контроля исполнителей проекта над их достижение снижается, где output – это результаты, достижение которых практически полностью зависит от исполнителей проекта.

В англоязычном пространстве триада широко распространена как способ описания проектов. В принципе, в эту рамку можно «втиснуть» любой проект, но лучше всего она работает для совсем простых проектов, для которых ее, кстати, и разработали. Но используют и более длинные цепочки изменений.

Меня на презентацию исследования СКОЛКОВО пригласили как эксперта для итогового комментария. И чувствуешь себя довольно неловко, когда под занавес мероприятия приходится говорить, что предлагаемая авторами исследования идея работать не будет. Но она действительно не будет работать. С одной стороны, даже проекты с одинаковыми конечными целями по импакту могут иметь разные цепочки изменений. Например, два проекта имеют целью трудоустройство безработных. Но один проект организует курсы, на которых безработных обучают, например, составлять резюме и успешно проходить интервью, и эти знания должны помочь им получить работу, а другой – помогает создавать центры карьеры, и уже эти центры организуют курсы для безработных. У этих проектов будут разные output, и у второго будет более длинная цепочка изменений.

С другой стороны, на уровне импакта даже у похожих по набору деятельности проектов могут быть очень разные цели. Например, какой-то организации может быть достаточно, чтобы люди трудоустраивались, другой - нужно, чтобы человек трудоустроился и сохранил работу как минимум в течение шести месяцев, а третья видит трудоустройства как важный шаг для обеспечения его личного благополучия (wellbeing) в долгосрочной перспективе.

Кроме того, у проектов могут быть незапланированные результаты на уровне импакта, как негативные, так и позитивные, а цепочки изменений, запущенные проектом, могут продолжать развиваться, с каких-то случаях даже многие годы, и сейчас организации начинают все чаще анализировать такие долгосрочные эффекты своей деятельности. И в трехшаговую модель изменений все это точно не уместится.

Я понимаю, что у организаций есть потребность сравнивать друг с другом. Но думаю, что, если нужно сравнивать себя в сфере импакта, лучше использовать подходы, которые заложены, например, в стандарты управления социальной ответственностью (ИСО 26000) или Стандарты ориентированного на ЦУР воздействия(импакта) для предприятий, о которых я писала ранее, то есть смотреть, как в компании организованы процессы управления созданием и оценкой импакта.

Все пути ведут к интеграции

В 2021 году меня пару раз приглашали сделать презентацию о тенденциях в сфере оценки, и в процессе подготовки я осознала интересную закономерность. Регулярно появляется какой-то новый подход, авторы которого объявляют его единственно правильным. В профессиональном сообществе специалистов по оценке вокруг этого подхода возникает активная дискуссия, в ходе которой ломается немало копий. Но со временем авторы подхода осознают, что он не позволяет ответить на все вопросы тех, кто реализует социальные проекты и программы, и что принцип выбора методов в зависимости от задачи, принятый в сфере оценки, все-таки рабочий, и начинают ему следовать. А для остальных специалистов по оценке новый подход становится одним из инструментов в их рабочем арсенале. Я подозреваю, что то, что оценка почти всегда делается на средства заказчика, существенно ускоряет данный процесс.

Относительно недавно по этому пути прошли авторы рандомизированных контрольных испытаний: оценки с экспериментальной и контрольной группами. Подход позиционировался как единственный, который позволяет достоверно показать эффективность какой-то модели воздействия, и его активно поддерживали многие влиятельные организации. Было много дискуссий, что эксперимент не единственный способ выявить наличие причинно-следственной связи между воздействием и получаемыми результатами. Было громкое исследование под руководством Элиота Стерна, которое показало, что рандомизированные контрольные испытания можно использовать только примерно для пяти процентов проектов. Но решающее слово, похоже, сказали заказчики оценки.

В одной стран Южной Азии решили внедрить модель, которая уже показала свою эффективность в Африке. Матерей маленьких детей обучали, как готовить им еду так, чтобы они получали больше питательных веществ, что должно было решить проблему отставания детей в развитии. Программа сопровождалась рандомизированными контрольными испытаниями. Измеряли рост и вес детей в контрольной и экспериментальной группах. Результат оказался неожиданными: между контрольной и экспериментальной группами не было никакой разницы. Заказчик считал, что так быть не может, потому что программа хорошо работала в других местах, а оценка не могла объяснить, что происходит.

Стали разбираться, и провели фокус-группы с женщинами, которых обучали в рамках программы. Оказалось, что они прекрасно знали, как нужно кормить детей, но не могли применить эти знания: покупкой продуктов в семье занимается муж, а что готовить - решает его мать, а с ними программа не работала.

Впервые я услышала эту историю в 2013 году на конференции Сообщества специалистов по оценке Южной Азии от Говарда Вайта, который в то время считался одним из главных поборников рандомизированных контрольных испытаний в мире. А тут он вдруг публично заявил, что рандомизированные контрольные испытания не дают информации о механизмах работы проектов, и в рамках оценки нужно сочетать различные методы, чтобы лучше понять, что происходит. В 2019 году эта же идея появилась в стратегии J-PAL, международного исследовательского центра, основанного в том числе Эстер Дюфло и Абхиджитом Банерджи, авторами подхода к оценке, основанного на рандомизированных контрольных испытаниях.

Нужно отметить, что подход этот также называют оценкой импакта. И только она более-менее интегрировалась в общее поле оценки, как тема оценки импакта появилась уже в новом контексте – в связи с импакт-инвестициями. Развивать ее начали люди из бизнес-сообщества, которые были далеки от практики оценки социальных программ в государственном и некоммерческом секторе. Первые попытки найти общий язык между специалистами по оценке социальных проектов и специалистами по измерению социального импакта были предприняты в середине 2010-х, и сейчас происходит постепенная интеграция между этими сферами. Например, в сфере импакт-инвестиций используется такой инструмент из арсенала оценки как теория изменений.

Еще одно направление, которое изначально «отмежевывалось» от «традиционной» оценки проектов, – оценка социального возврата на инвестиции (social return on investment – SROI), которая предполагает монетизацию как затрат на реализацию проекта, так и результатов, полученных непосредственными благополучателями, и расчет их соотношения. Когда этот подход появился, авторы позиционировали SROI как единственно правильный подход к оценке социальных проектов, который позволит сравнивать между собой любые проекты. В последнее время риторика поменялась. Несколько лет назад я была на семинаре по SROI, где представители Social Value International, которое продвигает его, уже говорили, что проекты сравнивать между собой не получится, но можно анализировать динамику работы одного проекта или организации. А сейчас у них на сайте есть материалы, посвященные тому, как определить ценность проекта, не используя SROI и монетизации, близкие к «традиционной» оценке социальных проектов.

Где заканчивается мониторинг и начинается оценка?

В прошедшем году на конференции АСОПП я провела два базовых семинара: один про оценку, другой про мониторинг. Поэтому мне было важно найти вразумительное объяснение, где проходит граница между ними.

В книге «Оценка программ: методология и практика» (2009) даны следующие определения:

• Мониторинг – это постоянный и систематический сбор информации о значениях заранее выбранных индикаторов для обеспечения руководителей и других заинтересованных сторон сведениями о том, насколько успешно выполняется программа или проект, в какой степени достигаются поставленные цели, и как используются выделенные ресурсы.
• Оценка – это систематический сбор информации о деятельности в рамках программы или проекта, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе или проекте, повысить их эффективность и/или разработать планы на будущее.

Когда я готовилась к семинарам, то поняла, что эти определения мне не нравятся. Для начала слово «систематический» может иметь два значения: либо следующий определённой системе, либо постоянно повторяющийся, не прекращающийся. Кроме того, мониторинг, на мой взгляд, не исключает вынесения суждения о проекте или программе на основании полученных данных. Суждение – это основа управленческого решения. Мониторинг все-таки предполагает, что его результаты будут использоваться для принятия управленческих решений: если получаемые данные соответствуют ожиданиями, значит, все идет по плану и можно продолжать реализовывать этот план, если нет – значит, возможно, требуется корректировка плана. Я, конечно, видела проекты, в которых данные мониторинга собирались, но никак не анализировались до конца проекта, но так быть не должно.

Поразмыслив, я сформулировала для себя следующее определение: мониторинг – это сбор данных, который проводится в рамках реализуемых мероприятий/действий, то есть в зоне непосредственного контроля исполнителей проекта. Соответственно, мониторинг может измерить объем использованных ресурсов, объем выполненных действий и их непосредственные результаты. Информацию обо всех дальнейших изменениях, ради которых обычно и затевают социальные проекты, нужно будет собирать отдельно, поэтому эту работу, на мой взгляд, будет правильнее относить уже к оценке, даже если она будет проводиться силами сотрудников проекта.