Измерение импакта: модель B4SI

Готовилась к разговору об оценке импакта/воздействия, и решила посмотреть, что нового у LBG (London Benchmarking Group – Лондонской группы бенчмаркинга). LBG - это сеть компаний, которые объединились, чтобы измерять импакт своих социальных инвестиций по общей модели и сравнивать себя друг с другом.

Оказалось, они поменяли название на B4SI - Business for Societal Impact – Бизнес за общественно-значимое воздействие, а также модель для измерения импакта. Модель B4SI шире, чем модель LBG. Модель LBG фокусировалась на инвестициях бизнеса в сообщества (Community Investment). Модель B4SI, принятая в 2018 году, включает также блоки «Бизнес-инновации для создания социального воздействия» (Business Innovation for Social Impact) и «Создание социального воздействия через систему закупок» (Procurement for Social Impact).

При этом при смене модели сохранилась одна существенная особенность. В «традиционной» оценке социальных проектов широко используется модель input – output – outcome– impact, где инпут – то, что вы вложили в реализацию, аутпут – непосредственный результат ваших действий, ауткам – изменения, которые произошли затем с участниками действий, импакт - изменения в сообществе, где эти участники живут. В принципе, модель не предполагает, что в цепочке должно быть только три уровня результатов, а подчеркивает, что к конечному результату приводит череда последовательных изменений. В модели LBG и теперь уже B4SI нет уровня outcome, цепочка выглядит так: input – output – impact, то есть все результаты после непосредственных – это импакт/воздействие.

Другая особенность – модель включает не только результаты для людей и сообществ, но и результаты для бизнеса.

Модель B4SI

	Inputs – Вложенные ресурсы	Outputs – Непосредственные результаты	Impact - Воздействие
Инвестиции в сообщества	Как, почему, что и где	Результаты для сообщества Результаты для бизнеса Дополнительно привлеченные ресурсы	Социальное воздействие Воздействие на бизнес
Бизнес-инновации для создания общественно-значимого воздействия	Финансовые инвестиции Другие ресурсы	Результаты для сообщества Результаты для бизнеса Дополнительно привлеченные ресурсы	Социальное воздействие Воздействие на бизнес
Создание общественно-значимого воздействия через систему закупок	Затраченное время и усилия Административные затраты	Результаты для сообщества Результаты для бизнеса Дополнительно привлеченные ресурсы	Социальное воздействие Воздействие на поставщиков Воздействие на бизнес

Для блока «Инвестиции в сообщества» есть подробное руководство по измерению результатов. Мне очень понравилось, что в нем написано по поводу импакта. Сразу сказано, что существует множество интерпретаций того, что такое импакт: кто-то относит к импакту все изменения, которые происходят благодаря достижению непосредственных результатов, а кто-то использует еще один промежуточный уровень результатов – outcome. При этом отличить outcome от impact сложно. Кроме того, по мнению B4SI, в большинстве случаев невозможно отследить долгосрочные социальные результаты инвестиций. Так что B4SI принимает прагматичную позицию, что импактом будут считаться все результаты после непосредственных, которые можно измерить.

Учитывая, что B4SI исходит из того, что бизнес будет сам собирать все данные, я с таким подходом согласна. Еще мне пришло в голову, что в русскоязычном пространстве нам было бы удобно взять на вооружение деление результатов на непосредственные и импакт/воздействие, при этом понимая, что в зоне импакта цепочки изменений могут быть длинными. И перестать мучаться с переводом термина outcome.

Мне также нравится, что при анализе воздействия проектов на людей модель B4SI предлагает разделять полученные результаты по типу воздействия (я бы это скорее назвала целью): изменение поведения, формирования новых знаний и навыков, или изменение качества жизни. А также по глубине воздействия: от незначительного, когда, например, человек только получил какую-то новую информацию, до существенного, если у человека в жизни произошли какие-то изменения в жизни, и трансформирующего, когда человек поменял поведение.

Кроме того, на уровне импакта в модель B4SI включили экологические аспекты воздействия, что, на мой взгляд, отражает растущее понимание, что качество окружающей среды и качество жизни людей тесно связаны.

Модель B4SI для инвестиций в сообщество

Как работают профессиональные объединения

В прошлом году меня пригласили войти в состав Консультативного комитета международной инициативы EvalPartners (Партнеры по продвижению оценки), которая объединяет региональные и национальные объединения специалистов по оценке, а также сообщества специалистов по оценке внутри крупных международных структур, например ООН. Задача комитета – давать советы по запросу нынешнего руководства EvalPartners. В состав комитета входят люди, которые в прошлом занимали руководящие позиции в EvalPartners. Например, я была сопредседателем EvalPartners в 2013–2015 годах.

Это был очень необычный и интересный опыт, который дал мне возможность познакомиться с работой профессиональных объединений специалистов по оценке в разных странах и регионах мира. Я тогда сформулировала на его основе пару простых правил, которые, по моим наблюдениям, позволяют этим объединениям успешно работать.

Члены правления профессионального объединения – волонтеры, а волонтер будет делать только то, что хочет и считает важным сам. Я много раз видела, как люди соглашались сделать что-то под давлением коллег, но потом обстоятельства всегда складывались так, что у них не оказывалось времени и возможности выполнить обещанное. Поэтому, на мой взгляд, правлению, во-первых, стоит использовать принцип работы импровизационного театра: никогда нельзя отвергать предложение партнера по «сцене». Его можно обыграть, развить, но только не отвергнуть. Иначе работа правления легко заходит в тупик, из которого очень сложно выйти. Второе правило – члену правления стоит добиваться того, чтобы коллеги приняли его идею, только если он готов лично взяться за ее реализацию. Иначе есть риск, что она так и останется идеей.

По-другому правление может работать, только когда у профессионального объединения появляется возможность нанять сотрудников, и можно разделить принятие решений и их исполнение.

Профессиональные термины в сфере оценки: стоит ли экономить слова?

Мы так близки, что слов не нужно… Люди, принадлежащие к каким-то сообществам, в том числе профессиональным, часто вырабатывают общий язык, понятный только внутри сообщества. Самый типичный пример этого – профессиональные термины, когда сложное понятие «упаковывается» в одно-два слова. Это сильно упрощает коммуникацию внутри сообщества, потому что можно передать большой объем смысла минимумом слов. Иногда профессионалы понимают друг друга буквально с полуслова. Но, с другой стороны, это затрудняет распространение идей за пределы профессионального сообщества.

В прошлом году я давала интервью журналистке из «Коммерсанта» для статьи про измерение результатов социальных проектов. В конце нашего разговора она спросила, как меня называть в статье.

– Я специалист по мониторингу и оценке.

– По оценке чего?

– (Пауза) Проектов социальной направленности.

Мы – наше профессиональное сообщество – в своей время перевели английское «evaluation» как «оценка», и так его и используем. Но при этом рядом с нами существуют и оценка рисков, и оценка экологического воздействия, и оценка социального воздействия (например, какой-то компании на местное сообщество, где находится ее предприятие). И, на мой взгляд, пока мы не начнем использовать терминологию, которая будет интуитивно понятна более широкому кругу людей, нам будет сложно продвинуть нашу «оценку» как вид профессиональной деятельности.

На практике, на мой взгляд, это означает, что не нужно стремиться, чтобы в русском переводе какого-то термина было столько же слов, сколько в английском оригинале, тем более что у нас логика языка совершенно другая. Пусть будут длинные термины. Не оценка – а оценка социальных проектов или проектов социальной направленности. Не импакт или воздействие – а воздействие проекта (или организации) на социальную (или экологическую) ситуацию.

Оценка как процесс коммуникации

Шри-Джаяварденепура. Это не заклинание, а название одного из старейших университетов Шри-Ланки. С 2015 года там действует годичная программа дополнительного образования по оценке. Меня периодически приглашают прочитать какую-нибудь лекцию ее участникам. В 2021 году попросили выступить на тему коммуникации в процессе оценки.

Коммуникацию обычно определяют как процесс передачи информации от одного человека (передатчика) к другому (приемнику) по разным каналам. Когда я готовилась к лекции, то поняла, что в процессе оценки я постоянно занимаюсь коммуникацией – с клиентами, членами команды оцениваемого проекта, благополучателями и другими заинтересованными сторонам. Причем как специалист по оценке я выступаю в качестве как приемника информации, так и передатчика.

Некоторые закономерности, о которых пишут в литературе по коммуникации, произвели на меня сильное впечатление. Например, соотношение 7—38—55: когда мы говорим человеку о чем-то, то 55% информации он воспринимает визуально, 38% — через тон нашего голоса, и всего 7% — через слова, по вербальному каналу. Или данные об эффективности восприятия информации: в среднем человек запоминает 10% того, что прочитал, 20% того, что услышал, 30% того, что увидел, 70% того, что обсуждал с другими людьми, и 95% того, о чем рассказывал другим людям.

Главные выводы, которые я для себя сделала:

• Нужно как можно больше общаться с заказчиком в ходе оценки.
• Нужно в ходе этого общения использовать как можно больше визуальной информации (графики, схемы, рисунки).
• Нужно максимально вовлекать заказчика в процесс интерпретации полученных данных, обсуждение выводов и рекомендаций оценки.

Почему не может быть единой модели для измерения импакта

Любопытно, что у людей, которые начинают работать в сфере оценки, есть потребность найти единственный правильный подход. Например, в 2021 году Институт исследований быстроразвивающихся рынков Московской школы управления СКОЛКОВО представил результаты исследования ««Золотой стандарт» импакта: лучшие кейсы и практики по оценке социального воздействия бизнеса», проведенного совместно с компанией РУСАЛ и при поддержке Форума Доноров. О планах разработать унифицированный подход к измерению импакта рассказал на конференции АСОПП представитель одного из благотворительных фондов.

Исследование СКОЛКОВО в качестве универсального подхода к оценке импакта предлагает использовать старую добрую триаду «output – outcome – impact», причем без перевода. Эти термины действительно плохо переводятся на русский язык. Вам могли попадаться такие варианты перевода этой триады, как «краткосрочный результат – среднесрочный результат – долгосрочный результат», «непосредственный результат – промежуточный результат – влияние/ воздействие». В точки зрения заложенных смыслов output (аутпут) означает результат, который исполнители проекта «сделали своими руками», outcome (ауткам) – это то, что «произошло» потом с непосредственными благополучателями проекта, а impact (импакт) – это изменения, которые произошли дальше. Иногда impact интерпретируют как изменения в сообществах, где живут непосредственные благополучатели. Суть в том, что речь идет о цепочке связанных результатов, по мере движения вдоль которой степень контроля исполнителей проекта над их достижение снижается, где output – это результаты, достижение которых практически полностью зависит от исполнителей проекта.

В англоязычном пространстве триада широко распространена как способ описания проектов. В принципе, в эту рамку можно «втиснуть» любой проект, но лучше всего она работает для совсем простых проектов, для которых ее, кстати, и разработали. Но используют и более длинные цепочки изменений.

Меня на презентацию исследования СКОЛКОВО пригласили как эксперта для итогового комментария. И чувствуешь себя довольно неловко, когда под занавес мероприятия приходится говорить, что предлагаемая авторами исследования идея работать не будет. Но она действительно не будет работать. С одной стороны, даже проекты с одинаковыми конечными целями по импакту могут иметь разные цепочки изменений. Например, два проекта имеют целью трудоустройство безработных. Но один проект организует курсы, на которых безработных обучают, например, составлять резюме и успешно проходить интервью, и эти знания должны помочь им получить работу, а другой – помогает создавать центры карьеры, и уже эти центры организуют курсы для безработных. У этих проектов будут разные output, и у второго будет более длинная цепочка изменений.

С другой стороны, на уровне импакта даже у похожих по набору деятельности проектов могут быть очень разные цели. Например, какой-то организации может быть достаточно, чтобы люди трудоустраивались, другой - нужно, чтобы человек трудоустроился и сохранил работу как минимум в течение шести месяцев, а третья видит трудоустройства как важный шаг для обеспечения его личного благополучия (wellbeing) в долгосрочной перспективе.

Кроме того, у проектов могут быть незапланированные результаты на уровне импакта, как негативные, так и позитивные, а цепочки изменений, запущенные проектом, могут продолжать развиваться, с каких-то случаях даже многие годы, и сейчас организации начинают все чаще анализировать такие долгосрочные эффекты своей деятельности. И в трехшаговую модель изменений все это точно не уместится.

Я понимаю, что у организаций есть потребность сравнивать друг с другом. Но думаю, что, если нужно сравнивать себя в сфере импакта, лучше использовать подходы, которые заложены, например, в стандарты управления социальной ответственностью (ИСО 26000) или Стандарты ориентированного на ЦУР воздействия(импакта) для предприятий, о которых я писала ранее, то есть смотреть, как в компании организованы процессы управления созданием и оценкой импакта.

Все пути ведут к интеграции

В 2021 году меня пару раз приглашали сделать презентацию о тенденциях в сфере оценки, и в процессе подготовки я осознала интересную закономерность. Регулярно появляется какой-то новый подход, авторы которого объявляют его единственно правильным. В профессиональном сообществе специалистов по оценке вокруг этого подхода возникает активная дискуссия, в ходе которой ломается немало копий. Но со временем авторы подхода осознают, что он не позволяет ответить на все вопросы тех, кто реализует социальные проекты и программы, и что принцип выбора методов в зависимости от задачи, принятый в сфере оценки, все-таки рабочий, и начинают ему следовать. А для остальных специалистов по оценке новый подход становится одним из инструментов в их рабочем арсенале. Я подозреваю, что то, что оценка почти всегда делается на средства заказчика, существенно ускоряет данный процесс.

Относительно недавно по этому пути прошли авторы рандомизированных контрольных испытаний: оценки с экспериментальной и контрольной группами. Подход позиционировался как единственный, который позволяет достоверно показать эффективность какой-то модели воздействия, и его активно поддерживали многие влиятельные организации. Было много дискуссий, что эксперимент не единственный способ выявить наличие причинно-следственной связи между воздействием и получаемыми результатами. Было громкое исследование под руководством Элиота Стерна, которое показало, что рандомизированные контрольные испытания можно использовать только примерно для пяти процентов проектов. Но решающее слово, похоже, сказали заказчики оценки.

В одной стран Южной Азии решили внедрить модель, которая уже показала свою эффективность в Африке. Матерей маленьких детей обучали, как готовить им еду так, чтобы они получали больше питательных веществ, что должно было решить проблему отставания детей в развитии. Программа сопровождалась рандомизированными контрольными испытаниями. Измеряли рост и вес детей в контрольной и экспериментальной группах. Результат оказался неожиданными: между контрольной и экспериментальной группами не было никакой разницы. Заказчик считал, что так быть не может, потому что программа хорошо работала в других местах, а оценка не могла объяснить, что происходит.

Стали разбираться, и провели фокус-группы с женщинами, которых обучали в рамках программы. Оказалось, что они прекрасно знали, как нужно кормить детей, но не могли применить эти знания: покупкой продуктов в семье занимается муж, а что готовить - решает его мать, а с ними программа не работала.

Впервые я услышала эту историю в 2013 году на конференции Сообщества специалистов по оценке Южной Азии от Говарда Вайта, который в то время считался одним из главных поборников рандомизированных контрольных испытаний в мире. А тут он вдруг публично заявил, что рандомизированные контрольные испытания не дают информации о механизмах работы проектов, и в рамках оценки нужно сочетать различные методы, чтобы лучше понять, что происходит. В 2019 году эта же идея появилась в стратегии J-PAL, международного исследовательского центра, основанного в том числе Эстер Дюфло и Абхиджитом Банерджи, авторами подхода к оценке, основанного на рандомизированных контрольных испытаниях.

Нужно отметить, что подход этот также называют оценкой импакта. И только она более-менее интегрировалась в общее поле оценки, как тема оценки импакта появилась уже в новом контексте – в связи с импакт-инвестициями. Развивать ее начали люди из бизнес-сообщества, которые были далеки от практики оценки социальных программ в государственном и некоммерческом секторе. Первые попытки найти общий язык между специалистами по оценке социальных проектов и специалистами по измерению социального импакта были предприняты в середине 2010-х, и сейчас происходит постепенная интеграция между этими сферами. Например, в сфере импакт-инвестиций используется такой инструмент из арсенала оценки как теория изменений.

Еще одно направление, которое изначально «отмежевывалось» от «традиционной» оценки проектов, – оценка социального возврата на инвестиции (social return on investment – SROI), которая предполагает монетизацию как затрат на реализацию проекта, так и результатов, полученных непосредственными благополучателями, и расчет их соотношения. Когда этот подход появился, авторы позиционировали SROI как единственно правильный подход к оценке социальных проектов, который позволит сравнивать между собой любые проекты. В последнее время риторика поменялась. Несколько лет назад я была на семинаре по SROI, где представители Social Value International, которое продвигает его, уже говорили, что проекты сравнивать между собой не получится, но можно анализировать динамику работы одного проекта или организации. А сейчас у них на сайте есть материалы, посвященные тому, как определить ценность проекта, не используя SROI и монетизации, близкие к «традиционной» оценке социальных проектов.

Где заканчивается мониторинг и начинается оценка?

В прошедшем году на конференции АСОПП я провела два базовых семинара: один про оценку, другой про мониторинг. Поэтому мне было важно найти вразумительное объяснение, где проходит граница между ними.

В книге «Оценка программ: методология и практика» (2009) даны следующие определения:

• Мониторинг – это постоянный и систематический сбор информации о значениях заранее выбранных индикаторов для обеспечения руководителей и других заинтересованных сторон сведениями о том, насколько успешно выполняется программа или проект, в какой степени достигаются поставленные цели, и как используются выделенные ресурсы.
• Оценка – это систематический сбор информации о деятельности в рамках программы или проекта, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе или проекте, повысить их эффективность и/или разработать планы на будущее.

Когда я готовилась к семинарам, то поняла, что эти определения мне не нравятся. Для начала слово «систематический» может иметь два значения: либо следующий определённой системе, либо постоянно повторяющийся, не прекращающийся. Кроме того, мониторинг, на мой взгляд, не исключает вынесения суждения о проекте или программе на основании полученных данных. Суждение – это основа управленческого решения. Мониторинг все-таки предполагает, что его результаты будут использоваться для принятия управленческих решений: если получаемые данные соответствуют ожиданиями, значит, все идет по плану и можно продолжать реализовывать этот план, если нет – значит, возможно, требуется корректировка плана. Я, конечно, видела проекты, в которых данные мониторинга собирались, но никак не анализировались до конца проекта, но так быть не должно.

Поразмыслив, я сформулировала для себя следующее определение: мониторинг – это сбор данных, который проводится в рамках реализуемых мероприятий/действий, то есть в зоне непосредственного контроля исполнителей проекта. Соответственно, мониторинг может измерить объем использованных ресурсов, объем выполненных действий и их непосредственные результаты. Информацию обо всех дальнейших изменениях, ради которых обычно и затевают социальные проекты, нужно будет собирать отдельно, поэтому эту работу, на мой взгляд, будет правильнее относить уже к оценке, даже если она будет проводиться силами сотрудников проекта.

Классификация проектов для целей мониторинга

Подготовка к выступлению на конференции – отличный способ отрефлексировать накопленный опыт. Плюс в процессе часто появляются новые идеи и модели. Например, в 2021 году я придумала, как можно подойти к типизации проектов для целей мониторинга.

Социальный проект – это механизм для производства социальных результатов. Поэтому важно понимать, как он работает, и какие результаты должны получаться. На мой взгляд, определение типа проекта полезно начать с ответа на вопрос: «Что должно получиться в результате проекта?». С одной стороны, есть проекты (или компоненты проекта), которые должны привести к какому-то одному изменению: например, принятию нового закона или разработке новой технологии. С другой, проект (или его компонент) может быть направлен на создание изменений для нескольких людей, семей или организаций.

Для создания этих изменений проект может использовать два типа подходов: либо стандартизованный, когда к каждому «объекту» применяют примерно одинаковый механизм воздействия, например, все участники проходят общую программу обучения, либо индивидуальный. Хороший пример второго подхода – программы, в которых для каждого участники разрабатывают индивидуальный план помощи. Использование стандартизованного подхода предполагает, что и ожидаемые результаты для всех участников будут примерно одинаковыми.

Для проектов с индивидуализированным походом также важно понять, какого типа результат хотят получить: одинаковый для всех случаев (например, сохранение ребенка в семье), или индивидуальный, которые определяется отдельно в каждом случае. Если второе, то такой проект будет правильнее рассматривать как группу проектов, каждый со своей уникальной целью.

Таким образом, проекты можно разделить на три категории:

• Проект, которые должен привести о какому-то одному изменению (результату).
• Проект, который использует стандартизованный подход для создания стандартизованных изменений (результатов).
• Проект, который использует индивидуальный подход для создания стандартизованных изменений (результатов).

Подходы к мониторингу таких проектов будут отличаться. Для проекта, который должен привести о какому-то одному изменению (результату), нужно иметь подробное качественное описание того, как должен «выглядеть» ожидаемый результат проекта, например, в виде чек-листа. Процесс мониторинга такого проекта предполагает регулярный анализ того, насколько то, что делают исполнители проекта, способствует достижению ожидаемого результата.

В случае проекта, который использует стандартизованный подход для создания стандартизованных изменений (результатов), важно понимать, во-первых, действительно ли к каждому участнику применяется одинаковый подход, и, во-вторых, достигаются ли для всех одинаковые результаты. Здесь пригодятся количественные индикаторы, которые будут измерять число и долю участников, которые были вовлечены в каждый этап реализации механизма, и получили результат, максимально близкий к ожидаемому.

Для проекта, который использует индивидуальный подход к каждому участнику для создания стандартизованных результатов, пригодятся индикаторы, которые измеряют число и долю участников, результаты которых близки в ожидаемому. Также может быть полезно измерять степень реализации индивидуальных планов для каждого участника, и измерять число и долю участников, для которых планы были реализованы максимально полно.

Сохранение человеческого капитала как социальный результат

В отчетах НКО, поданных на конкурс «Точка отсчета», много описаний проектов, для которых сложно сказать, к каким изменениям они приводят. (Реконструкция логики или теории изменений проекта – один их этапов оценки, поэтому я делаю это на автомате, когда читаю описание проекта, пусть даже самое короткое.) Например, НКО проводят концерты для ветеранов, помогают семьям с детьми-инвалидами добраться на прием к врачу, дарят подопечным детям наборы первоклассника.

На мой взгляд, главный результат таких проектов, - сохранение и преумножение человеческого капитала. Например, когда ветеранов собирают на концерт, это помогает им актуализировать свою сеть слабый социальных связей и приобрети новые, а полученное внимание и положительные эмоции позитивно влияют на их эмоциональный капитал.

Я все чаще думаю, что язык человеческого капитала очень удобен для описания результатов в социальной сфере. Это кажется особенно уместным в контексте Повестки 2030, которая провозглашает человека главной целью развития.

Обновленная модель человеческого капитала

Я уже второй год участвую в оценке годовых отчетов НКО, поданных на конкурс Форума Доноров «Точка отсчета». Оказалось, что это здорово стимулирует размышления на тему собственной практики в сфере оценки. Например, благодаря годовому отчету Благотворительной организации «Ночлежка» мне пришло в голову, что в модель человеческого капитала, которой я регулярно пользуюсь, нужно добавить еще один вид капитала – легальный.

«Моя» модель человеческого капитала – это адаптация модели, разработанной в 2003 году британскими специалистами Линдой Грэттон и Сумантрой Гошалом для бизнес-контекста. В их версии человеческий капитал складывался из интеллектуального, социального и эмоционального. Когда я попробовала применить эту модель в контексте социальных программ и проектов, стало понятно, что будет полезно добавить еще два элемента: экономический капитал и биологический капитал, который определяется в первую очередь состоянием здоровья человека.

Все элементы человеческого капитала тесно связаны друг в другом: возрастание или ослабление одного из элементов влияет на остальные элементы. Поэтому модель удобно использовать для анализа изменений, которые создают социальных проекты, или причин социальных проблем. Например, если человек приобретает хроническую болезнь, особенная стигматизируемую как ВИЧ, это негативно влияет на его эмоциональный капитал и может приводит к утрате социальных связей, то есть разрушению социального капитала. Программы, в рамках которых ВИЧ-положительным людям помогают принять диагноз и учат, как жить с ВИЧ, чтобы долго сохранять здоровье, увеличивают их интеллектуальный капитал, что часто приводит к восстановлению и увеличению и других элементов их человеческого капитала.

Благодаря отчету «Ночлежки» меня осенило, что наличие документов – тоже важный элемент человеческого капитала, а их утрата может оказать разрушительное влияние на весь человеческий капитал человека. И я добавила в модель блок, который назвала «легальным капиталом». Его элементы: наличие документов, удостоверяющих личность человека; наличие документов, подтверждающих право собственности. Думаю, еще важно иметь документы, подтверждающие получение образования и специальности.

Отчет об оценке в PowerPoint

В прошлом году я открыла для себя новый формат отчета – слайддок. Так называют документы, созданные в программе для презентаций, например, в PowerPoint, но предназначенные для чтения. Основной принцип создания слайддока – одна идея на слайд, и для ее передачи нужно использовать как визуальный материал, так и текст. Одним из достоинств слайддоков считается то, что их удобнее читать с экрана, чем станицы формата А4: страница/слайд помещается на экран целиком. Кроме того, принцип «один слайд – одна идея» делает отчет более структурированным и легким для восприятия.

Узнала я об этом формате из блога Криса Лизи, американского специалиста по оценке, известного, в том числе, своими карикатурами на тему оценки. В посте, посвященном слайддокам, Крис приводит несколько примеров отчетов об оценке, выполненных в этом формате.

Любопытное совпадение: вскоре мне нужно было оценивать отчеты НКО, поданные на конкурс Форума Доноров «Точка отсчета», и оказалось, что российские НКО уже довольно широко используют формат слайддоков.

Системный подход рулит

В прошедшем году я в очередной раз убедилась, что системный подход очень помогает при проведении оценки. В качестве национального консультанта я участвовал в оценке регионального проекта Международной организации труда, направленного на развитие национальных систем среднего профессионального образования. В России проект работал в небольшом числе регионов, в каждом из которых в нем участвовало по несколько колледжей.

Для того, чтобы разобраться в работе проекта, мне очень пригодился один из принципов системного подхода, а именно принцип иерархичности. Суть его в том, что каждый элемент системы также можно рассматриваться как систему, а каждая рассматриваемая система представляет собой один из элементов более широкой системы. Я отдельно анализировала, как проект сработал для колледжей и для региональных систем профессионального образования, в которые эти колледжи входили. Плюс я смотрела, как на то, что происходило на уровне колледжа и региона, влияла национальная нормативно-правовая система в сфере профессионального образования.

Кроме того, оказалось, что результаты на уровне колледжа было удобно описывать как изменение системы его партнерских связей. Если до участия в проекте у колледжа скорее всего были только местные партнеры, например предприятие, для которого он готовит кадры, то в ходе проекта колледжи должны быть находить – и находили – новых партнеров как в других регионах России, так и за рубежом.

Качественные индикаторы

В процессе подготовки к презентации об оценке ЦУР я обнаружила еще один интересный документ, опубликованный в 2021 году: SDG Impact Standards for Enterprises – Стандарты ориентированного на ЦУР воздействия для предприятий. Стандарты определяют, как должны «выглядеть» стратегия, подходы к управлению и обеспечению прозрачности, а также система управления в компаниях, которые хотят внести вклад в достижение ЦУР.

На мой взгляд, применительно в оценке данный документ – хороший пример того, что из себя представляют качественные индикаторы. Причем сами авторы тоже называют описания того, как должны «выглядеть» различные аспекты деятельности предприятия, которое хочет вносить вклад в достижение ЦУР, индикаторами. Вот, для примера, небольшая часть предлагаемых индикаторов.

Блок 1. Стратегия – Предприятие включает задачу внести вклад в устойчивое развитие и ЦУР в свою миссию и стратегию и ставит перед собой амбициозные цели.

Аспект 1.1. Предприятие включает задачу внести вклад в устойчивое развитие и ЦУР в свою миссию и стратегию.

Индикаторы (для примера привожу три из одиннадцати):

1.1.1.  Предприятие увязывает создание долгосрочной ценностей для себя с позитивным вкладом в устойчивое развитие и достижение ЦУР.

1.1.2. Подход предприятия учитывает комплексную природу устойчивого развития и ЦУР.

1.1.3. Подход предприятия включает уважение прав человека в соответствии с Руководящими принципами ООН для бизнеса, учет планетарных границ согласно с научными данными, а также другие практики ответственного ведения бизнеса в соответствии с Десятью принципами Глобального договора ООН и принципами расширения возможностей для женщин ООН Женщины.

ЦУР и культурные проекты

В 2021 году у меня было несколько презентаций о том, как определить, какой вклад деятельность НКО или благотворительного фонда вносит в реализацию ЦУР. С каждым годом появляется все больше англоязычной литературы на эту тему, но все рекомендации сводятся примерно к одному: нужно построить модель изменений, которые запускает ваша деятельность, и проанализировать, приводят ли эти изменения к тем, о которых говорится в описаниях Целей и задач устойчивого развития.

В 2021 году, наконец, появились публикации с примерами для конкретных проектов и программ. Например, Фонд Галуста Гульбенкяна опубликовал отчет о результатах анализа, который провела для его программ Rockefeller Philanthropy Advisors, некоммерческая организация, консультирующая благотворительные фонды. Одним из направлений работы Фонд Гульбенкяна является поддержка культурных проектов, поэтому отчет дает возможность посмотреть, как они стыкуются с ЦУР.

Например, один из проектов фонда - Музыкальные сезоны Гульбенкяна. Они проходят на базе Центра современного искусства, принадлежащего фонду, где оркестр и хор центра вместе в приглашенными исполнителями дают серию концертов. Данный проект вносит вклад в реализацию ЦУР 4: Обеспечение всеохватного и справедливого качественного образования и поощрение возможности обучения на протяжении всей жизни для всех, а конкретно в задачу 4.7: К 2030 году обеспечить, чтобы все обучающиеся приобретали знания и навыки, необходимые для содействия устойчивому развитию, в том числе посредством обучения по вопросам устойчивого развития и устойчивого образа жизни, прав человека, гендерного равенства, пропаганды культуры мира и ненасилия, гражданства мира и осознания ценности культурного разнообразия и вклада культуры в устойчивое развитие.

В рамках программы «Гражданство через искусство» Фонд Гульбенкяна поддерживает проекты, в которых искусство используется как инструмент продвижения ценностей гражданского поведения, инклюзии и развития потенциала людей из уязвимых групп, а также обучение НКО, которые работают в сфере искусства. Например, театр используется как средство профилактики насилия, написание текстов – как средство для преодоления травмы и личностного роста женщин, испытавших насилие, а визуальное и цирковое искусство – для социальной интеграции заключенных и вышедших из заключения. Кроме задачи 4.7 Rockefeller Philanthropy Advisors связали данную программу с задачей 10.2: К 2030 году поддержать законодательным путем и поощрять активное участие всех людей в социальной, экономической и политической жизни независимо от их возраста, пола, инвалидности, расы, этнической принадлежности, происхождения, религии и экономического или иного статуса.

На мой взгляд, тем, кто занимается культурными проектами и задумывается, как они могут содействовать реализации ЦУР, стоит также обратить внимание на задачи 11.4: Активизировать усилия по защите и сохранению всемирного культурного и природного наследия и 4.a: Создавать и совершенствовать учебные заведения, учитывающие интересы детей, особые нужды инвалидов и гендерные аспекты, и обеспечить безопасную, свободную от насилия и социальных барьеров и эффективную среду обучения для всех.

Вот, например, проект «Добровольное искусствоведение», поддержанный в рамках грантового конкурса РУСАЛ. Основной идеей проекта было просвещение жителей Красноярска в области современного искусства и музейного дела. В рамках проекта планировалось подготовить группу волонтеров-медиаторов, владеющих знаниями о современном искусстве, и при этом способных говорить на языке, понятном и доступном горожанам. В результате реализации проекта волонтеры-медиаторы должны были создать собственную выставку из фондов современного искусства музея. Этот проект вносит вклад в реализацию задачи 4.7 в части развития осознания ценности культурного разнообразия, но также он способствует достижению задачи 4а – в части снятия социальных барьеров. Кроме того, так как проект призван сформировать партнерские отношения между музеем и волонтерами-медиаторами, проект будет вносить вклад в реализации задачи 17.17. В английском оригинале Повестки 2030 речь в этой задаче идет о том, что все должны сотрудничать со всеми. В русском переводе упор был сделан на организации, но, думаю, правильнее будет придерживаться духа оригинала.

Новая эффективность

Вопрос, который волнует меня уже несколько лет в контексте Целей устойчивого развития и лежащего в их основе принципа «leaving no one behind» - «развитие для всех без исключения»: почему мы не говорим о том, что следование этому принципу кардинально меняет подходы к теме экономической эффективности?

Традиционный подход, который, по сути, идет из экономики массового промышленного производства, состоит в том, что нужно разработать стандартизованную технологию получения какого-то социального результата и затем реализовывать ее с минимальными затратами. И чем меньше будут эти затраты, тем более высокой будет экономическая эффективность.

Особенность применения стандартизованных технологий состоит в том, что получаемые результаты обычно оказываются нормально распределены, и всегда есть кто-то, для кого стандартизованная технология дает результаты намного хуже среднего. Приводимая ниже картинка неплохо это иллюстрирует: если всем детям дать подставки одинаковой высоты, чтобы им было лучше видно, что происходит на поле, самым невысоким это не поможет.

Принцип «leaving no one behind» - «развитие для всех без исключения» предполагает, что для каждого члена целевой группы нужно получить примерно одинаковый результат. Но это значит, что в каких-то случаях потребуется совсем мало усилий и средств, а в каких-то необходимый объем усилий и затрат будет значительно выше среднего. По сути, при достижении одинакового результата для всех нормально распределены будут уже затраты на его получение. И для людей, для которых стандартизованные подходы дают результаты сильно хуже среднего, затраты на получение нужного результата скорее всего будут значительно выше средних. На мой взгляд, в такой ситуации сама идея экономичности теряет смысл.

Как оценить вклад организации в реализацию принципа «развитие для всех без исключения» («leaving no one behind»)

Структуры ООН сейчас много внимания уделяют реализации Повестки 2030, в которой сформулированы Цели в области устойчивого развития. Краеугольный «камень» Повестки 2030 – принцип «leaving no one behind» - «развитие для всех без исключения». В ТЗ на оценку ООН-овских проектов часто бывает отдельный вопрос про их вклад в реализацию этого принципа. В случае оценки страновой программы Фонда народонаселения ООН в Молдове в ТЗ такого вопроса не было, но мне его задали во время презентации результатов.

Сложность в том, что даже у страновой программы сильно ограничен охват: в проводимые мероприятия включена очень небольшая часть людей, относящихся в той или иной целевой группе. Например, компонент по внедрению в школах нового курса по репродуктивному здоровью реализовывался в трех районах страны их сорока с лишним, и в пилотный районах работа велась лишь в небольшом числе населенных пунктов. То есть большинство людей, которым потенциально мог бы быть полезен данный компонент, оказывается неохваченной, то есть «left behind». При этом, на мой взгляд, единственный игрок, который может реализовать принцип «развитие для всех без исключения», — это государство, потому что у него есть соответствующая инфраструктура.

Но, отвечая на заданный вопрос, я поняла, что полезно смотреть на то, какую роль организации играет в национальной системе. В страновом офисе Фонда народонаселения ООН в Молдове меньше полусотни сотрудников. Данные оценки показывали, что охват реализуемых интервенций небольшой. Но при этом страновой офис выполняет функцию «брокера знаний» - то есть привносит в государственную систему современные технологии работы с маргинализируемыми группами, которые позволяют государству лучше реализовывать принцип «развитие для всех без исключения».

Важная тема, которая возникает в этой связи, — это способность государственной системы воспринимать и интегрировать привносимые инновации, как часто можно предлагать новые модели и технологии, а также как можно ускорить процесс восприятия и интеграции конкретной технологии. Например, оценка страновой программы в Молдове показала, что принятию и интеграции новых технологий способствуют систематическая проактивная коммуникация с заинтересованными сторонам, а также активное вовлечение преподавателей вузов в освоение новых технологий и последующая поддержка запуска национальных обучающих программ на базе этих вузов.

Цикличная теория изменений

В 2021 году я опять руководила оценкой страновой программы Фонда народонаселения ООН, на этот раз в Молдове. Оценка страновой программы – довольно странный жанр. Оценка как инструмент заточена под деятельность, у которой есть начало и конец, а также цель, которая должна быть достигнута. А страновая программа агентства ООН – это набор деятельности, которая реализовывалась за какой-то временной промежуток, в случае Фонда народонаселения – пять лет, но в нее входят проекты, которые начались за пределами этого промежутка, а закончились – внутри него, или начались внутри него, но будут продолжаться за его пределами. Кроме того, общей цели у этой деятельности нет. Она укладывается в несколько широких направлений. Для каждого из них заданы основные результаты, но при этом внутри направления может реализовываться какая-то деятельность, которая с этими результатами никак не связана. При этом вопросы оценки для страновой программы сформулированы обычно так, будто это именно программа с началом, концом и общей целью.

В ходе оценки в Молдове важным инсайтом для меня стало осознание, что внутри всей этой разноплановой деятельности можно найти общую внутреннюю логику. Например, в сфере репродуктивного здоровья работа строится по следующей схеме. Определяется какой-то аспект, где Фонд народонаселения хочет добиться изменений в практике национальных институтов. Проводится адвокационная работа, чтобы убедить национальные органы, принимающие решения, внедрить эти изменения. Если адвокация достигает своей цели, страновой офис Фонда помогает разработать необходимую нормативно-правовую базу, проводит обучение тех, кто должен будет реализовывать новые практики и услуги, и даже может помочь обеспечить их необходимым оборудованием и расходными материалами. Причем после первой волны обучения часто происходит передача ответственности за дальнейшее обучение национальным структурам, где внедряются программы первичного обучения и повышения квалификации. А через какое-то время Фонд помогает провести мониторинг и оценку качества оказания новых услуг. И полученные результаты могут использоваться как для дальнейшего повышения потенциала провайдеров услуг, так и как основа для новых адвокационных кампаний, запуская новый виток цикла.

Параллельно Фонд организует и поддерживает информационные кампания для потенциальных пользователей новых услуг и практик, чтобы эти услуги и практики пользовались спросом. В результате это должно приводить к тому, что люди получают новые услуги или более качественные услуги в области репродуктивного здоровья, и это, в свою очередь, приводит к позитивным изменениям в их жизни.

В конкретный момент времени у Фонда может быть несколько разных инициатив, которые оказываются на разных этапах данного цикла. Для каких-то инициатив можно проследить, как они прошли несколько подобных циклов.

Думаю, что подобные цикличные теории изменений могут быть полезны и для долгосрочных программ, в которых, например, регулярно набирают новые группы участников, и при этом происходит постоянное «докручивание» программы по мере ее реализации.

Теория барьеров

В описании проекта ГЭФ, о котором я уже упоминала, были перечислены барьеры для внедрения устойчивого управления лесными и земельными ресурсами:

• Регуляторная среда, которая не способствует внедрению устойчивого управления лесными и земельными ресурсами;
• Недостаточность реформ, проведенных в секторе землепользования, для успешного внедрения устойчивого управления лесными и земельными ресурсами;
• Ограниченный потенциал местных институтов;
• Устаревшие подходы к управлению лесными и земельными ресурсами.

Действия, реализованные в рамках проекта, хорошо стыковались с этим барьерами, - настолько, что я даже думала переформулировать ожидаемые результаты проекта как снижение этих барьеров.

Это мне напомнило о работе немецкого специалиста по оценке Кристины Ворлен, разработавшей подход, который она назвала «теорией не-изменений». Проще было бы назвать его «теорией барьеров», потому что суть подхода состоит в том, чтобы определить барьеры, которые мешают реализации оцениваемого проекта, и их «высоту». Кристина выделила ряд типичных барьеров, которые, например, могут препятствовать внедрению какой-то новой модели поведения в целевой группе:

• Отсутствие информации о данной модели поведения у представителей целевой группы;
• Отсутствие интереса/ мотивации;
• Отсутствие знаний и навыков, необходимых для реализации новой модели поведения,
• Отсутствие доступа (например, представителям целевой группы негде получить знания и навыки или какое-то оборудование, необходимые для реализации новой модели поведения);
• Отсутствие экономического выигрыша: новая модель поведения обходится дороже, чем старая;
• Отсутствие средств на начальные вложения: новая модель поведения может быть более экономичной, но у представителей целевой группы нет средств на необходимые стартовые вложения.

Кроме того, Кристина предложила «светофорную» модель для маркировки «высоты» (значимости) каждого из выделенных барьеров в ходе анализа:

• Барьер, который является серьезным препятствие на пути изменения, считается красным.
• Барьер, которые не оказывает существенного влияния на процесс изменений, маркируется как желтый.
• Отсутствие какого-либо из барьеров маркируется зеленым.

Подход Кристины предлагает проводить анализ существующих барьеров на этапе разработки дизайна проекта, чтобы определить наиболее значимые из них и разработать меры по их преодолению, а также после реализации, в процессе оценки, чтобы понять, насколько это получилось. То есть снижение значимых барьеров для достижения целей проекта можно рассматривать как один из ожидаемых результатов и включать в теорию изменений для этого проекта.

Теория изменений – матрешка

 

Проект ГЭФ, который я оценивала, был довольно сложным по дизайну. Разработчики должны были уложить его в стандартную схему действия (мероприятия) – непосредственные результаты (outputs) – опосредованные результаты (outcomes) – цель (goal). Но помещался он в нее не очень. Проект работал на двух уровнях: с одной стороны, он пытался изменить регуляторную и информационную среду в стране в целом, а с другой, работал с пилотными местными сообществами и расположенными рядом с ними лесхозами, меняя их модели деятельности. При этом жесткой связки между этими двумя уровнями не было, а итоговая цель проекта достигалась за счет того, что происходило на местном уровне, причем не зависимо от того, изменится регуляторная среда или нет. Хотя изменение среды все-таки работало на долгосрочную устойчивость практик, внедряемых на местном уровне. 

Одна из задач, которую нужно решить в ходе оценки, - реконструкция логики проекта. И, если строить традиционную линейную карту изменений, получалось, что изменения в регуляторной и информационной среде «подвисают».

Рис. 1. Линейная карта изменений.

Мне хотелось графически показать связь между объектами, на которые воздействовал проект: что пилотные сообщества и лесхозы находятся внутри регуляторной среды, и что проект воздействует и на них, и на среду. Тем более, что все действия я рамках проекта логично делились на создание изменений в регуляторной и информационной среде, и на внедрение разных новых технологий на местном уровне в пилотных лесхозах и сообществах.

В результате у меня получилась модель создания изменений, которая в упрощенном виде представлена ниже. Желтые стрелки показывают действия, предпринятые в рамках проекта. Стрелки привязаны к объектам воздействия. И видно, что результаты более высокого уровня связаны с первую очередь с изменения в потенциале местных институтов.

Рис. 2. Карта изменений, показывающая, что один объект воздействия находится внутри другого.

То есть теория изменения получилась в виде матрешки, где один объект воздействия находится внутри другого.

Оценочная шкала ГЭФ

В 2021 году я впервые в карьере руководила оценкой проекта Глобального экологического фонда (ГЭФ). Я по первому образования географ, поэтому мне греет душу, когда в оценке есть экологическая составляющая. И проведение оценки проекта, в котором экология была на первом месте, стала для меня значительным событием.

Одна из особенностей ГЭФ в том, что у него есть оценочные шкалы для используемых критериев. Поэтому нужно не только ответить на вопросы оценки, но и обосновать и выставить оценку (сделать оценочное суждение) по каждому критерию. Ниже для примера привожу шкалу для критерия «результативность».

Оценка	Описание
Более чем удовлетворительно	Достигнутые результаты явно превосходят ожидания (план), и/или нет никаких недостатков.
Удовлетворительно	Ожидаемые результаты достигнуты, и/или недостатков нет, или они незначительны.
Почти удовлетворительно	Достигнутые результаты более-менее соответствуют ожиданиям (плану), и/или были умеренные недостатки.
Почти неудовлетворительно	Достигнутые результаты несколько ниже, чем ожидалось (планировалось), и/или были существенные недостатки.
Неудовлетворительно	Достигнутые результаты существенно ниже, чем ожидалось (планировалось), и/или были крупные недостатки.
Крайне неудовлетворительно	Ожидаемые результаты были достигнуты лишь в незначительной степени, и/или были очень серьезные недостатки.
Невозможно оценить	Имеющая информация не позволяет вынести суждение об уровне достижения ожидаемых результатов.

Мне понадобилось какое-то время, чтобы приноровиться работать с этой шкалой. Но в целом ее наличие было полезно, потому что позволяло перейти от описания результатов оценки к ценностному суждению. И когда у сотрудников проекта возникали вопросы или сомнения относительно сделанных оценочных суждений, можно было отослать их к шкале и предложить самим вынести такое суждение на основании данных, что обычно снимало все вопросы.

Единственно, если бы я делала подобную шкалу, я бы использовала категории «хорошо» и «отлично» вместо «удовлетворительно» и «крайне удовлетворительно», хотя это, вероятно, связано с тем, что «удовлетворительно» у меня ассоциируется с нашей школьной «тройкой».

Суждение о ценности как основа для принятия решений

2021 год получился у меня очень насыщенным в профессиональном плане. Я сделала несколько оценок, много выступала на различных мероприятиях, участвовала в оценках заявок конкурсов «Лидеры корпоративной благотворительности» и «Точка отсчета», занималась общественной работой в рамках профессиональных объединений специалистов по оценке. В процессе у меня регулярно возникали какие-то идеи и маленькие открытия, но не было времени их зафиксировать. И вот решила использовать новогодние праздники, чтобы это сделать. В результате вышла серия из 19 заметок, которые буду выкладывать одну за другой.

Вот первая. Одним из важных инсайтов стало осознание, что классическое определение оценки – что это вынесение суждения о ценности программы или проекта на основании системно собранных данных – действительно хорошо описывает оценку как вид деятельности. Я консультант мониторингу и оценке, и поэтому всегда провожу внешнюю оценку. Поэтому для меня оценка, с точки зрения того, что я делаю, — это про разработку методологии, сбор и анализ данных, представление результатов заказчику. И много лет в качестве рабочего определения я использовала следующее: оценка – это комплекс аналитических мероприятий, которые должны дать ответы на вопросы лиц, принимающих решения, относительно оцениваемого проекта или программы.

Но, когда писала аналитический обзор по итогам «Лидеров корпоративной благотворительности», поняла, что, если не определить ценность реализованных проекта или программы, невозможно принять управленческое решение. Потому что, если проект оценивается как хороший, это открывает один спектр возможных управленческих решений, а если как плохой – совершенно другой.

Я думаю, специалистам по оценке важно помнить, что полномочиями выносить оценку как суждение о ценности программы или проекта обладает высшее руководство организации, которая реализует или финансирует данный проект. И руководители такие решения выносят постоянно, пусть даже неосознанно. Ведь если принимается решение о продолжении какого-то проекта, значит, принявший решение оценивает его положительно. И в каких-то ситуациях руководитель может делегировать проведение оценки внутренним или внешним специалистам. И наша ценность как специалистов по оценке для заказчика – в том, что мы умеем выносить суждение о ценности на основании данных, осознанно и обоснованно, и можем свое суждение внятно объяснить.