МиО-сказки

Оценка проектов социальной направленности – малоизвестный широкой общественности вид профессиональной деятельности. Поэтому специалисты по оценке периодически предпринимают попытки описать то, чем занимаются, так чтобы это было понятно людям, далеким от оценки.

На английском языке есть книга «Eva the Evaluator» («Ева – специалист по оценке»). Текст к ней написал американский специалист по оценке Роджер Миранда. Героиня книги Ева, ученица младших классов, должна сделать в школе доклад о профессии одного из своих родителей. Она приходит к отцу, который делает внешнюю оценку социальных проектов, и он ей пытается объяснить, чем занимается. А Ева при этом примеряет то, что он ей рассказывает, на известные ей профессии, например журналиста или полицейского детектива.

Роджер разрешает переводить свою книгу. И в какой-то момент я решила это сделать. Но быстро оказалось, что история про Еву плохо «ложится» на русский язык. Начнем с того, что невозможно повторить игру слов, когда имя девочки – это первые буквы названия вида профессиональной деятельности. И диалог отца и Евы очень сильно привязан к американскому контексту.

Поэтому я решила, что нужно написать свою историю. В результате у меня получились «МиО-сказки». Их пока две: одна про мониторинг, другая – про оценку.

15 февраля – День влюбленных в оценку (EVALentine’s Day), несерьезный профессиональный праздник, который придумал отмечать американский специалист по оценке Джон Гаргани. Как раз хороший повод поделиться МиО-сказками.

Новый онлайн-курс по теории изменений

Оценка – это про красоту. Так сказала в прошлом декабре Наталья Гладких, главный редактор журнала «Позитивные изменения», подводя итоги 2023 года: «Про красоту проектов, которая становится видна, когда за сухими цифрами о количестве проведенных мероприятий и их участников мы начинаем распознавать истории изменений — того, что и называется импактом».

А в этом декабре благодаря Наталье я участвовала в очень красивых съемках онлайн курса «Теория изменений для управления и оценки социальным проектом». Так что оценка – это точно про красоту.

Курс уже готов и открыт для всех: https://edu.dobro.ru/courses/188/ И даже сертификат в конце обучения дают.

Практики оценки в компаниях – участниках конкурса «Лидеры корпоративной благотворительности»

В этом году я в очередной раз участвовала в работе жюри конкурса «Лидеры корпоративной благо­твори­тель­ности» Форума Доноров, а также сделала анализ практик применения оценки в компаниях – участниках конкурса. Результаты анализа представлены в брошюре «Все о лидерах 2024», стр. 29.

Ниже привожу полный текст своего материала:

Оценка – это вынесение суждения о ценности или значимости чего-либо. В практике управления социальными проектами и программами оценка определяет вектор принимаемых решений: поддержать или отказать в поддержке, продолжить поддержку или нет. Причем в компаниях, поддерживающих проекты НКО и инициативных групп жителей, оценку одного проекта нужно делать дважды: на этапе рассмотрения проектной заявки и после реализации проекта.

В небольших компаниях, где решения о благотворительной поддержке принимает владелец бизнеса, не обязательно подробно регламентировать процесс оценки проектных заявок и реализованных проектов и его результаты. В больших компаниях, где функция оценки делегирована подразделениям, отвечающим за корпоративную благотворительную деятельность, потребность в такой формализации есть. Анализ анкет компаний, представленных в рамках конкурса «Лидеры корпоративной благотворительности 2024 показал, что в 2023 году несколько компаний сделали заметные шаги по формализации процессов оценки своего воздействия.

Например, появились примеры регламентирования компаниями подходов к измерению качества жизни в городах присутствия. В 2022 году МКПАО «ОК РУСАЛ» разработала и начала использовать «Индекс устойчивого развития городов» для определения приоритетных направлений социальных инвестиций в городах присутствия. Оценка с использованием результатов изменения Индекса интегрирована в цикл управления социальными инвестициями компании. Интересно, что первым этапом этого цикла является оценка воздействия компании на основе актуального замера индекса. На втором этапе компания планирует обсуждать результаты этой оценки с ключевыми заинтересованными сторонами, после чего на третьем этапе цикла должны приниматься решения о реализации социальных инвестиций. Четвертый этап - разработка и реализация программ, которые должны оказать положительно воздействие на параметры, измеряемые «Индексом устойчивого развития городов».

Похожую модель оценки в 2023 году начали внедрять в свою практику ПАО «Северсталь» и Металлоинвест. ПАО «Северсталь» разработала методику анализа показателей качества жизни в регионах своего присутствия по 11 ключевым направлениям (жилищные условия, доход и работа, здоровье, образование и т.д.). Результаты такой оценки помогают компании определить зоны развития в городах присутствия и корректировать план социально-экономических мероприятий. Металлоинвест в 2023 году разработал Индекс качества жизни малых городов, который рассчитывается на основе 70 показателей устойчивого развития городов по таким направлениям, как экология, безопасность, образование, здравоохранение, состояние городской инфраструктуры.

В Благотворительном фонде «Вклад в будущее» ПАО Сбербанк идет работа по регламентированию оценки социального воздействия. Для этого была разработана Методика оценки решений с учетом социальной значимости, которая используется для оценки, по сути, проектных заявок. В рамках методики предлагаемое решение оценивают по ряду параметров (например, масштаб решаемой социальной проблемы и масштаб вклада решения в решаемую проблематику, соответствие предлагаемого решения политики банка), из которых затем складывает интегральный показатель социальной значимости.

Параллельно развивает практика использования вынесения формализованных суждений (оценок) по уже реализованным проектам, что упрощает задачу сравнительного анализа большо массива реализованных проектов. Например, СИБУР использует систему индексов, разработанную в 2022 году, которая включает:

• Индекс результативности проекта, для расчета которого первоначальные цели проекта, указанные в конкурсной заявке, соотносятся с результатами, достигнутыми по итогам проекта и указанными в отчете.
• Индекс устойчивости проекта, который определяется с учетом продолжения активной деятельности после завершения проекта; наличия или отсутствие новых идей, инициатив и акций по итогам проекта; масштаба и характера вовлеченности местных сообществ; наличия и характера обратной связи от заинтересованных сторон.
• Индекс коммуникационной активности грантовых проектов, который определяет полноту и качество информационного сопровождения проекта, а также корректность представления СИБУРа в качестве организатора грантовой программы «Формула хороших дел».

Свой подход формализации суждений (оценки) реализованных грантовых проектов есть в МКПАО «ОК РУСАЛ». Все проекты оцениваются по пяти критериям:

• эффективность реализации проекта,
• устойчивость проекта,
• влияние проекта на развитие территории,
• вклад проекта в развитие организации-благополучателя,
• открытость и доступность информации о проекте.

По каждому критерию ставится оценка по 4-балльной шкале:

• «не соответствует» ставится, если ни один источник не подтверждает соответствия данному критерию,
• «соответствует в меньшей степени» ставится, если один важный источник и/или более источников не подтверждает соответствия данному критерию, но есть важные источники, подтверждающие соответствие.
• «соответствует в большей степен» – если существуют один или более источников, не подтверждающих соответствия данному критерию, но имеются более одного важного источника, подтверждающего соответствие.
• «полностью соответствует» – если все источники подтверждают соответствие критерию.

Интересный пример формализации оценки и ее интеграции в процесс реализации есть у консалтинговой компании Kept в рамках программы раннего вмешательства «Уверенное начало»  для детей от рождения и до 3 лет, у которых по биологических причинам нарушено развитие или есть серьезные факторы риска для появления отставания в разных областях развития. Программа использует международные шкалы для оценки состояния ребенка как на входе, так и по ходу работы с ним. Кроме того, в процессе работы для каждого ребенка определяют измеряемые ожидаемые результаты (цели), и есть качественная шкала для оценки, то есть вынесения суждения о ценности фактического результата. В шкале шесть ступеней от -3 до +2, где:

-3 – хуже, чем было,

-2 – изменений нет,

-1 – чуть меньше ожидаемого,

0 – цель достигнута,

+1 – чуть больше ожидаемого,

+2 – значительно больше ожидаемого.    

Нужно ответить, что примеры такой формализации вынесения суждений (оценок) и анализа социального воздействия проектов пока остаются редкостью. Большинство компаний, заполнивших анкеты, собирают данные о непосредственных количественных результатах поддержанных проектов: числе партнеров, числе поддержанных проектов, числе участников мероприятий.

К сожалению, компании редко приводят примеры, как эти данные используются для принятия решений. Хороший пример описала Почта России. Совместно с Национальным регистром доноров костного мозга (РДКМ) и Русфондом Почта России реализует проект по привлечению потенциальных доноров костного мозга по почте. Примерно через полгода после запуска программы по донорству костного мозга стало видно, что довольно много людей, которые подали заявки на вступление в регистр и получили наборы для вступления, не отправили свой биоматериал в регистр. Чтобы решить эту проблему, был доработан личный кабинет РДКМ, чтобы он мог напоминать конкретным заявителям о необходимости отправить биоматериал. Кроме того, изменили систему информирования о проекте, начав более точечно работать именно с заинтересованными аудиториями. В результате «конверсия» (соотношение количества людей, подавших заявку на получение по почте набора для вступления в регистр, и количества биообразцов, поступивших от них в лабораторию регистра) выросла с 31% в 2021 году до 55% в первой половине 2024 года. 

Компания «ОМК» отметила, что анализ результатов грантового конкурса «ОМК Партнерство» в 2023 года показал, что регионы, в которых презентация программы проводилась очно, были наиболее активными в конкурсе. Поэтому в 2024 году компания организовала очные презентации в 18 городах присутствия. Как результат, полученное количество заявок стало рекордным за все годы проведения конкурса, заявки пришли даже из регионов, из которых их никогда не подавали до того. (Данный пример позволяет заключить, что компания положительно оценивает рост числа заявок и степень включенности регионов присутствия в конкурс.)

Умный и еще умнее

Наверняка многие знакомы с моделью SMART-результатов. SMART – это аббревиатура, составленная из первых букв английских названий критериев, которым должны соответствовать результаты планируемого проекта или программы. При этом само слово SMART означает «умный», так что SMART модель результатов – это модель умных результатов.

Но, как всегда, нет предела совершенству. В свежем руководстве по управлению, направленному на достижение результатов, выпущенном Детским фондом ООН, предложена модель SMARTER – то есть, более умных – результатов. Она опять описывает критерии, которым должны соответствовать результаты. Интересно, что в нее не просто добавили два новых критерия, но и обновили почти все критерии в SMART-части. Из «старых» критериев остался только Measurable – Измеримые.

Таблица. Критерии для SMART и SMARTER результатов

S	Specific - Конкретные	Strategic – Стратегические: определены с учетом сравнительных преимуществ организации, которая реализует проект, и его контекста
M	Measurable - Измеримые	Measurable – Измеримые: существуют методы и подходы для измерения результатов.
A	Achievable - Достижимые	Aligned – Согласованные с национальными приоритетами и приоритетами партнеров.
R	Relevant – Соответствующие характеру проекта	Realistic – Реалистичные: результаты должны быть достижимы при том уровне ресурсов и усилий, которые запланированы в рамках проекта.
T	Time-bound – Имеющие временную привязку	Transformative – Трансформирующие: достижение результатов проекта должно способствовать системной трансформации.
E	-	Empowering – Вдохновляющие: должно быть ясно, что изменения, создаваемые проектов, будут позитивными.
R	-	Reportable – Описываемые: должна быть понятна связь между предпринимаемыми действиями и результатами всей уровней.

  

Трудности перевода, или приключения термина "импакт" в России

Недавно я была на сессии по оценке на конференции Форума Доноров. Говорили про то, как оценка помогает накапливать знания. Но меня зацепил рассказ Ирины Гарт, как они с Тимуром Гаджиджараевым из Ассоциации благотворительных организаций «Друзья милосердия» перед тем, как рассказать об оценке членам ассоциации на мероприятии на Северном Кавказе, обсуждали, как перевести на русский англоязычные термины. И решили заменить «импакт» на «преобразование».

Импакт (impact) – термин многострадальный, причем как в англоязычном профессиональном сообществе, так и в смысле его перевода на русский язык. Одной из первых термин «impact» стала использовать как элемент описания логики проекта американская грантодающая организация United Way. Она давали гранты на небольшие проекты, реализуемые местными сообществами, например, на строительство детских площадок, и хотелось, чтобы грантополучатели задумывались не только о своих действиях, но и о развитии своих сообществ. Например, вы оборудуете место для досуга подростков. В результате эти подростки меньше праздно шатаются по улицам, что, в свою очередь, снижает риск, что они сделают что-то антиобщественное, и, в итоге, жизнь в сообществе становится более спокойной. Английскими словами эта цепочка изменений описывалась как «output» - результат, который вы сделали своим руками, «outcome» - изменение, которое произошло дальше уже без вашего непосредственного участия, и «impact» - изменения в сообществе в итоге запущенной вами цепочки изменений.

Модель эта получила широкое распространение. Но хорошо работает только для проектов, когда вы что-то строите: детские площадки, дороги или школы. Как только проект, например, начинает людей обучать, сразу становится сложно определить, что вы «сделали своими руками» - «output»: то, что человек прошел обучение, или те знания, которые он получил.

Параллельно в сфере оценки термин «impact» использовался и в другом значении: как разница в значении какого-то заранее выбранного показателя при наличии и отсутствии проектного воздействия. И показатели обычно выбирали на уровне результатов, которые в описанной выше модели назвали бы «output». Это значение термина «impact» стали использовать, в том числе, в сфере импакт-инвестиций.

К нам оценка пришла в 1990-е с международными донорскими программами, которые использовали модель описания результатов по схеме «output» - «outcome» - «impact». Точных эквивалентов в русском языке нет, поэтому у нас эту модель как только не переводили: краткосрочные – среднесрочные – долгосрочные результаты, непосредственные результаты – промежуточные результаты – влияние (воздействие) проекта, непосредственные результаты – социальные результаты – социальный эффект. С приходом идей импакт-инвестиций появились термины «воздействие» и «импакт» - как перевод и просто написание термина «impact» русскими буквами в его значении, принятом в этой сфере. И вот теперь еще один вариант – «преобразование».

Похоже, нам теперь любое профессиональное обсуждение нужно будет начинать с договоренности о том, в каком значении мы будет использовать термины. Что, кстати, и сделала Ирина Гарт на конференции Форума Доноров: в самом начале сессии она сказала, что в рамках обсуждения под социальным эффектом будут пониматься изменения во внешней среде в результате изменений, созданных проектом или программой.

Специалисты по оценке тоже шутят

Крис Лайси, американский специалист по оценке и визуализации данных, уже много лет рисует карикатуры на тему оценки. И наконец у него появилась карикатура, которую можно перевести на русский!

Как и зачем "собирать урожай" результатов

 

Коллеги с "Фабрики позитивных изменений" внедрили новую практику: подкасты, в которых ведущий обсуждает с автором его статью в журнале "Позитивные изменения". В этом подкасте говорим с Алексеем Хасяновым о моей статье про методику Outcome Harvesting. 

Я обычно говорю о том, что делала на практике. Здесь другой случай: я была на семинаре у Рикардо Вилсон-Грау, автора методики, и на выступлениях зарубежных коллег, которые ее использовали, но сама на практике пока не применяла. Но, несмотря на то, что "попробовать руками" "сбор урожая" у меня пока не получилось, уверена, что она может быть полезной.

Фокус на решении

У меня тут случилось забавное совпадение. Я сейчас делаю оценку большой программы, в рамках которой нужно, в том числе, определить, насколько результаты больших репрезентативных опросов конвертируются в управленческие решения в интересах детей. И получилось, что лучше всего работает механизм, когда лицам, принимающим решения, приносят не общий отчет с цифрами, а делают углубленный анализ собранных данных, выделяют узкие группы детей или семей, которые сталкиваются с какими-то конкретными проблемами, и предлагают варианты решения этих проблем.

Днем написала это в отчете, а вечером встречаюсь со знакомой, и она мне рассказывает про конструктивную журналистику. Это такое относительно новое направление в журналистике, которое опирается на знания из области позитивной психологии и нейронауки. Последняя, например, установила, что, если человек воспринимает мир как полный негатива и проблем, это приводит к хроническому стрессу, который снижает его способность искать решения. И наоборот, фокус на возможных решениях повышает вероятность их использования. Поэтому материалы конструктивной журналистики говорят не только о проблемах, но и о том, как их можно решить.

Получилась такая неожиданная дополнительная триангуляции результатов оценки с результатами научных исследований. Но если взглянуть шире, получается, что, если в ходе оценки обнаруживаешь, что что-то не работает, то, когда пишешь об этом в отчете, имеет смысл сразу же, буквально в следующем абзаце, предложить варианты решения проблемы. Если верить нейронауке, такой фокус на решении должен помочь клиенту принять негативную информацию конструктивно.

Вышла моя статья о методике Outcome Harvesting

В журнале «Позитивные изменения» вышла моя статья про методику Outcome Harvesting, разработанную для оценки программ и проектов. Ее фокус на поиске всех результатов оцениваемого проекта, а не только ожидаемых.

Перевод английских терминов на русский – часто нетривиальная задача. По сути, в данном контексте «harvesting» ближе всего по смыслу к русскому «пожинать плоды». Но «пожинание плодов» как название методики звучит не очень, поэтому в статье я называю ее «сбором урожая» или «жатвой».

В «Позитивных изменениях» рисованные иллюстрации. Мою статью сопроводили картиной, на которой девушки собирают яблоки, я прекрасный юноша задумчиво рассматривает спелый плод. Как-то сразу приходит на ум дерево познания добра и зла. Классный образ для оценки: она как раз для того и делается, чтобы определить, насколько «хорошим» является оцениваемый проект или программа.

«Разбор полетов»: самый простой способ самооценки

На прошлой неделе я была на интересном вебинаре, посвященном After-Action-Review – Анализу после завершения деятельности. По сути, это «разбор полетов», который проводят их непосредственные участники, чтобы научиться на полученном опыте. Изначально подход придумали в 1970-е в американской армии. Затем его начали применять в бизнесе, а с 2010-х его используют и в некоммерческом секторе.

Технологии анализа простая. Команда исполнителей, которая недавно завершила какую-то работу, собирается и обсуждает:

• Каковы были планы и ожидания от этой работы?
• Насколько эти планы и ожидания реализовались на практике?
• Что и почему получилось хорошо?
• Что и как можно было бы сделать лучше?

Главное условие успешного проведения «разбора полетов» - обеспечить возможность высказать свое мнение всем участникам команды исполнителей, невзирая на табель о рангах. Это действительно работает: я использовала похожий подход в своей практике, и во время обсуждения того, как был реализован очередной этап программы, лучшее решение выявленной проблемы предложила ассистент.

На мой взгляд, анализ после завершения деятельности – первый инструмент, который стоит внедрить в свою деятельность организациям, когда они начинают задумываться об использовании оценки. Он простой, практически не требует никаких дополнительных затрат, но очень эффективный. Сессии можно проводить либо по окончании реализации отдельного проекта или мероприятия, либо разделить процесс реализации проекта на ряд этапов, и устраивать обсуждение после окончания каждого этапа.

На вебинаре был представлен адаптированный вариант «разбора полетов». Проект организаторов вебинара работал с фермерами в Эфиопии, и после его окончания сотрудники проекта провели сессии с фермерами-участниками проекта, где попросили их ответить на четыре вопроса, приведенные выше. А полученную таким образом информацию затем использовали при проведении обсуждения проекта членами команды проекта.

2022: знаковые события в сфере оценки в донорских и благотворительных организациях

В начале года коллеги из Форума доноров попросили меня дать комментарии для статьи, над которой они работали. В итоге комментарии в статью не поместились, но я подумала, что они могут быть кому-то интересны.

Меня попросили написать, какие события, связанные с темой мониторинга и оценки в донорских и благотворительных организациях, показались мне знаковыми в 2022 году. Первое, что хочется отметить, - доклад Анны Чечик, директора по развитию Благотворительного фонда «Система», на конференции АСОПП. В 2021 году, на предыдущей конференции, мы обсуждали с Анной, можно ли сделать универсальный набор показателей для оценки благотворительной деятельности и импакт-инвестиций. Я ее убеждала, что это невозможно, и на практике это пока ни у кого не получилось. Анна отвечала, что они все равно попробуют. Поэтому я с большим нетерпением ждала ее выступления на конференции 2022 года.

И оказалось, что БФ «Система» действительно разработал набор – только не показателей, а критериев, которым должен соответствовать импакт-проект. Обязательных критериев всего три:

• Результативность проекта одновременно охватывает и бизнес, и общество и/или окружающую среду,
• Все ожидаемые результаты проекта измеримы и достижимы,
• Проект обладает долгосрочным эффектом (3–5 лет).

Также предлагается два рекомендуемых критерия («Проект учитывает экспертизу компании» и «Проект верифицирован внешними экспертами») и 12 дополнительных. Предлагаемая шкала оценки по каждому из критериев простая: полностью соответствует, частично соответствует, не соответствует.

Результаты исследования БФ «Система» и доклад Анны Чечик для меня являются знаковым событием, потому что у нас в стране применительно к оценке много говорят о показателях, но почти не говорят о критериях. А последние, на мой взгляд, важнее. Раз мы определяем оценку как инструмент для определения ценности проекта, важно иметь определение того, что мы считаем ценным. И эта задача как раз решается с помощью критериев, которые, по сути, представляют собой характеристики ценного проекта.

Второе событие, которое показалось мне интересным и знаковым, - вебинар (и подготовленный на его основе блог) «Получение знаний и оценка, основанные на доверии», который совместно провели проект «Филантропия, основанная на доверии» (Trust-Based Philanthropy Project) и Центр инноваций в оценке (Center for Evaluation Innovation).

Участники обсуждали, как изменить ситуацию, когда доноры делают оценку сверху вниз, фокусируясь на измерении количественных показателей и краткосрочных результатах. Как сделать так, чтобы доноры использовали оценку как инструмент для своего обучения и развития, а не пытались доказывать, что их ограниченные по размеру грантовые программы способны существенно повлиять на решение сложных социальных проблем?

Предлагаемый подход к обучению и оценке, основанных на доверии, фокусируется на трех аспектах взаимодействия доноров и грантополучателей:

• Насколько доноры следуют своим ценностям? Этот вопрос помогает донором осознать свою ответственность перед грантополучателями как партнерами и фокусироваться на возврате на отношения (return on relationship – ROR), а не на инвестиции (return on investment – ROI).
• Насколько доноры поддерживают своих партнеров-грантополучателей в достижении их целей? Этот вопрос помогает донорам совершенствовать свои механизмы принятия решений так, чтобы помогать грантополучателям получать долгосрочные результаты, а также осознать свою роль катализатора формирования устойчивой системы некоммерческих организаций, сотрудничающих ради достижения общих целей.
• Насколько удается добиваться ощутимых изменений по какой-то проблеме или для какого-то сообщества? Обучение и оценка, основанные на доверии, фокусируются на долгосрочных изменениях и понимании того, как социальные изменения происходят на самом деле. Например, корректнее анализировать изменения на отрезках в 5-10 лет, а не от года к году.

Если хотите подробнее узнать о разработке БФ "Система" и оценке, основанной на доверии, вот ссылки на полезные материалы:

• Запись сессии с докладом Анны Чечик на конференции АСОПП: https://www.youtube.com/watch?v=VmI0i-wd-nE (начало доклада на метке 1:08:00)
• Презентация Анны на конференции АСОПП: https://drive.google.com/file/d/1iLu2aJ4ZduB_Eq-P0mbCVtirmoM5xmv9/view
• Гайд для создания и оценки импакт-проектов, разработанный БФ «Система»: https://bf.sistema.ru/upload/iblock/abe/tmvvep8snmgywrkonvn6b24s9rub9i3c/Gai_d-impakt-proekty_final.pdf
• Запись вебинара про оценку, основанную на доверии: https://www.trustbasedphilanthropy.org/resources-articles/2022-1-25-cei-tbp-learning-evaluation
• Блог про оценку, основанную на доверии: https://www.trustbasedphilanthropy.org/blog-1/3-1-toward-trust-based-framework-learning-evaluation

Тирания показателей

Прочитала, наконец, книгу «Тирания показателей: как одержимость цифрами угрожает образованию, здравоохранению, бизнесу и власти» Джерри Мюллера.

Если суммировать содержание, получаются, на мой взгляд, два тезиса:

1. Количественные показатели хорошо работают, если использовать их для внутреннего управления, и обязательно обсуждать внутри команды, что полученные цифры означают в контексте складывающейся ситуации.
2. Количественные показатели не работают, если использовать их как инструмент внешнего управления и привязывать к ним оценку и вознаграждение работы исполнителей. Исполнители быстро придумывают, как получить нужные значения показателей, обычно в ущерб делу.

Маленькая иллюстрация к первому тезису из моей практики. Я делала оценку программы для предпринимателей, целью которой было помочь им увеличить оборот бизнеса как минимум на 25 процентов. Беру интервью у одного из участников – владельца небольшого магазина в торговом центре. И он мне с восторгом рассказывает, какая это замечательная программа.

- А что у вас с оборотом?

- Упал на 10 процентов.

- И вы довольны программой?

- Да. У предпринимателей в соседних магазинах из-за кризиса оборот сократился как минимум на 40 процентов.

Вышла моя статья о методике Outcome mapping

Огромное спасибо коллегами из журнала «Позитивные изменения»! Благодаря им у меня, наконец, получилось рассказать о методике Outcome mapping – Создание карт поведенческих изменений.

Я обычно рассказываю и пишу о вещах, которые уже удалось попробовать на практике. Про методику создания карт поведенческих изменений я знаю уже несколько лет, и она мне очень нравится, но попробовать применить ее пока не удалось. А жаль, потому что, на мой взгляд, она может быть полезна во многих ситуациях. Суть методики в том, что она предлагает описывать ожидаемые результаты проекта как набор изменений в поведении людей, в том числе внутри организаций, которые можно наблюдать и фиксировать.

Не так давно меня спросили на семинаре по мониторингу, как можно измерить «социальную адаптированность» ребенка. На мой взгляд, «социальная адаптированность» — это состояние, которое должно каким-то образом проявляться в поведении, в том, что ребенок делает. Если он плохо социально адаптирован, то ведет себя одним образом, если хорошо – демонстрирует какие-то другие модели поведения. Значит, об изменениях в социальной адаптированности можно судить по изменениям в поведении. А это как раз то, что предлагает делать методика Outcome mapping.

Я люблю оценку

 

Отмечать 15 февраля EVALentine’s Day – День влюбленных в оценку придумал американский специалист по оценке Джон Гаргани. Это такой несерьезный праздник, когда можно говорить не о том, почему оценка социальных проектов и программ важна, а почему нам, специалистам по оценке, нравится ей заниматься.

Для меня один из любимых моментов в ходе оценки – это когда при анализе собранных данных начинаешь видеть какие-то закономерности, когда складывается стройная картина того, что произошло в результате проекта, и особенно когда в этой картине обнаруживаются какие-то неожиданные позитивные моменты.

И меня очень радует, когда в результате оценки что-то новое в своих проектах открывают люди, которые их реализуют. В прошлом году я работала с Благотворительным фондом «Арифметика добра» по оценке одного из их проектов. Было очень приятно, когда после ее завершения коллеги поделились, что благодаря оценке открыли для себя новые смыслы и по-иному увидели свою деятельность, в которой, казалось бы, им все уже было понятно.

Руководящие принципы оценки ПРООН стали доступны на русском!

Офис оценки Программы развития ООН, самого крупного из агентств этой системы, перевел свои «Руководящие принципы проведения оценки» на русский язык. Насколько мне известно, это первый такой случай в истории, раньше все руководящие документы на тему оценки в агентствах ООН существовали только на английском языке.

Руководство написано для менеджеров внутри ПРООН, которые планируют и организуют проведение оценки, включая найм внешних консультантов, а также координируют процесс принятия решений по результатам оценки и оценки качества проведенной оценки. У нас не так много литературы по теме оценки на русском языке, и она в основном посвящена методологическим аспектам оценки. А тут появилась возможность посмотреть, как выглядит оценка с точки зрения тех, кто ее заказывает и ею управляет.

Перевод не идеальный: например, мне понадобилось залезть в английский оригинал, чтобы выяснить, что «Круг полномочий оценки» — это перевод Terms of Reference (Техническое задание). Тем не менее документ дает неплохое представление о том, как может выглядеть архитектура оценки в большой организации, которая работает во множестве мест, и где оценка применяется уже много десятилетий. Например, в ПРООН есть децентрализованная оценка страновых программ, которая может быть промежуточной и итоговой. Организацией и управлением такой оценкой занимаются страновые офисы ПРООН. Также есть независимая оценка страновых программ, которая относится уже к ведению Независимого офиса оценки в штаб-квартире агентства. А есть тематические оценка, объектом которой становится работа всего агентства в той или иной тематической области.

Кроме того, в «Руководящих принципах» приведены шаблоны управленческих документов, которые нужно разрабатывать в процессе оценки: например, форма для плана оценки или форма для расчета бюджета оценки.

Вот ссылка на станицу русского перевода руководства: http://web.undp.org/evaluation/guideline/Russian/index.shtml

И на станицу английского оригинала: http://web.undp.org/evaluation/guideline/index.shtml

 

«Единство и борьба» методов монетарной оценки

В конце января я была на вебинаре по анализу издержек и выгод (cost-benefit analysis – CBA), и неожиданно закрыла для себя один из вопросов, который давно «грыз» меня по поводу SROI (social return on investment – социальный возврат на инвестиции). Кстати, в CBA под выгодами (benefits) имеются в виду социальные результаты, и на русский язык этот метод будет корректнее перевести как анализ созданных социальных благ и понесенных при этом затрат.

CBA я изучала в США в середине 1990-х, когда училась в магистратуре. В том курсе CBA базировался на экономической теории общественного блага (public good). Английское «good», как, кстати и русское «добро», одновременно означает и благо, и товар. Общественные блага – это такие особые товары, полезность которых для отдельно взятого потребителя существенно ниже стоимости их производства, поэтому отдельный человек их никогда не купит. Но зато ими могут одновременно пользоваться много людей без потери полезности. И эти люди могут договориться, скинуться и купить такой товар вскладчину. Или делегировать функцию производства общественных благ государству, «скидываясь» на это своими налогами.

Стоит отметить, что возможность переводить деньги с мобильного подтвердило данную идею на практике. С точки зрения экономики, если человек отдал за что-то деньги, то полезность того, что он получает взамен, для него как минимум не меньше этой суммы. Соответственно, для человека, который перечислил деньги на чье-то лечение, то, что этот человек получит лечение, - благо, польза, пусть и небольшая.

Когда делают CBA, нужно посчитать, с одной стороны, затраты на производство интересующего нас общественного блага, а с другой – суммарную денежную оценку этого блага для всех, кто им пользуется. Потом с полученными суммами проводится хитрая манипуляция под названием дисконтирование, и затем сравнивают итоговые денежные оценки полученных благ и затрат. И хорошо, когда благ получается больше, чем затрат.

SROI предполагает похожий процесс, но нужно учитывать денежную оценку ценности/полезности созданных благ только для непосредственных благополучателей проекта. Например, у вас проект, в рамках которого вы привлекаете волонтеров, и они убирают одиноким пенсионеркам квартиры. SROI учитывает только благо, которое получили пенсионерки. Время волонтеров – это затраты. Но, с точки зрения экономики, если волонтер потратил три часа своего времени на что-то, то он получил как минимум столько же пользы (блага). Плюс, возможно, организация, привлекавшая волонтеров, по сути, сэкономила ресурсы, так как не нанимала уборщиков. В CBA нужно учесть блага, полученные всеми участниками процесса, поэтому суммарное благо получается больше, чем при использовании SROI.

Меня всегда смущало, что на семинарах по SROI про CBA говорят, что это слишком сложно и вам не нужно, и никогда не говорят, что при использовании CBA оценка полученного блага будет больше.

На январском вебинаре по CBA своим опытом делилась Сальвия Виньетти из Центра индустриальных исследований в Милане. Они делают CBA для инфраструктурных проектов, например, строительства или ремонта дорог. Оказалось, они тоже занимают позицию, что созданные блага нужно считать только для непосредственных благополучателей. Но есть внятное объяснение такой позиции. Во-первых, так проще и дешевле – в смысле трудозатрат – посчитать создаваемые блага. Во-вторых, если объем создаваемых благ превысит объем затрат даже при таком ограниченном учете, мы можем быть уверены, что на данный проект стоит тратить деньги.

Когда Сильвия сказала это, я подумала: «Бинго, это объяснение отлично подходит и для SROI».

Коллеги, если кому-то интересна тема CBA, вот ссылка на материалы вебинара, к сожалению, только на английском языке: https://www.evalforward.org/webinars/cost-benefit-analysis

За цифрами должны быть видны люди

«Используйте статистику, чтобы описать масштаб явления, но сопровождайте ее историями, чтобы за цифрами были видны люди». Это цитата Майкла Квина Пэттона из его недавнего видео на YouTube.

Майкл Пэттон – человек, который за пятьдесят лет работы в сфере оценки сделал невероятно много для ее развития, и ему по-прежнему интересно двигаться вперед. Слушать его выступления – каждый раз праздник для интеллекта. И у него всегда получается связать любые актуальные события с оценкой. Февраль – месяц «черной» истории в США. В своем видео Пэттон ссылается на колонку в Нью-Йорк Таймс, посвященную подходам к изучению истории рабства. Тема рабства для США – примерно то же, что тема политических репрессий в СССР для нас, только у них потомки рабов и рабовладельцев отличаются внешне, что создает дополнительное напряжение.

Автор колонки пишет, что, анализ статистики о масштабах работорговли скрывает страдания людей, ставших ее жертвами. Пэттон напоминает о принципе сочетания методов, широко принятом сегодня в оценке. Но не о его прагматической механике: выбор методов сбора и анализа должен соответствовать вопросам оценки, - а о его гуманистической сути: социальные проекты пытаются решать реальные проблемы реальных людей, и, хотя цифры важны для понимания масштабов как проблемы, так и результатов проекта, за ними нельзя терять истории этих людей. «No numbers without stories, no stories without numbers» - «Истории и цифры – всегда вместе».

Измерение импакта: модель B4SI

Готовилась к разговору об оценке импакта/воздействия, и решила посмотреть, что нового у LBG (London Benchmarking Group – Лондонской группы бенчмаркинга). LBG - это сеть компаний, которые объединились, чтобы измерять импакт своих социальных инвестиций по общей модели и сравнивать себя друг с другом.

Оказалось, они поменяли название на B4SI - Business for Societal Impact – Бизнес за общественно-значимое воздействие, а также модель для измерения импакта. Модель B4SI шире, чем модель LBG. Модель LBG фокусировалась на инвестициях бизнеса в сообщества (Community Investment). Модель B4SI, принятая в 2018 году, включает также блоки «Бизнес-инновации для создания социального воздействия» (Business Innovation for Social Impact) и «Создание социального воздействия через систему закупок» (Procurement for Social Impact).

При этом при смене модели сохранилась одна существенная особенность. В «традиционной» оценке социальных проектов широко используется модель input – output – outcome– impact, где инпут – то, что вы вложили в реализацию, аутпут – непосредственный результат ваших действий, ауткам – изменения, которые произошли затем с участниками действий, импакт - изменения в сообществе, где эти участники живут. В принципе, модель не предполагает, что в цепочке должно быть только три уровня результатов, а подчеркивает, что к конечному результату приводит череда последовательных изменений. В модели LBG и теперь уже B4SI нет уровня outcome, цепочка выглядит так: input – output – impact, то есть все результаты после непосредственных – это импакт/воздействие.

Другая особенность – модель включает не только результаты для людей и сообществ, но и результаты для бизнеса.

Модель B4SI

	Inputs – Вложенные ресурсы	Outputs – Непосредственные результаты	Impact - Воздействие
Инвестиции в сообщества	Как, почему, что и где	Результаты для сообщества Результаты для бизнеса Дополнительно привлеченные ресурсы	Социальное воздействие Воздействие на бизнес
Бизнес-инновации для создания общественно-значимого воздействия	Финансовые инвестиции Другие ресурсы	Результаты для сообщества Результаты для бизнеса Дополнительно привлеченные ресурсы	Социальное воздействие Воздействие на бизнес
Создание общественно-значимого воздействия через систему закупок	Затраченное время и усилия Административные затраты	Результаты для сообщества Результаты для бизнеса Дополнительно привлеченные ресурсы	Социальное воздействие Воздействие на поставщиков Воздействие на бизнес

Для блока «Инвестиции в сообщества» есть подробное руководство по измерению результатов. Мне очень понравилось, что в нем написано по поводу импакта. Сразу сказано, что существует множество интерпретаций того, что такое импакт: кто-то относит к импакту все изменения, которые происходят благодаря достижению непосредственных результатов, а кто-то использует еще один промежуточный уровень результатов – outcome. При этом отличить outcome от impact сложно. Кроме того, по мнению B4SI, в большинстве случаев невозможно отследить долгосрочные социальные результаты инвестиций. Так что B4SI принимает прагматичную позицию, что импактом будут считаться все результаты после непосредственных, которые можно измерить.

Учитывая, что B4SI исходит из того, что бизнес будет сам собирать все данные, я с таким подходом согласна. Еще мне пришло в голову, что в русскоязычном пространстве нам было бы удобно взять на вооружение деление результатов на непосредственные и импакт/воздействие, при этом понимая, что в зоне импакта цепочки изменений могут быть длинными. И перестать мучаться с переводом термина outcome.

Мне также нравится, что при анализе воздействия проектов на людей модель B4SI предлагает разделять полученные результаты по типу воздействия (я бы это скорее назвала целью): изменение поведения, формирования новых знаний и навыков, или изменение качества жизни. А также по глубине воздействия: от незначительного, когда, например, человек только получил какую-то новую информацию, до существенного, если у человека в жизни произошли какие-то изменения в жизни, и трансформирующего, когда человек поменял поведение.

Кроме того, на уровне импакта в модель B4SI включили экологические аспекты воздействия, что, на мой взгляд, отражает растущее понимание, что качество окружающей среды и качество жизни людей тесно связаны.

Модель B4SI для инвестиций в сообщество

Как работают профессиональные объединения

В прошлом году меня пригласили войти в состав Консультативного комитета международной инициативы EvalPartners (Партнеры по продвижению оценки), которая объединяет региональные и национальные объединения специалистов по оценке, а также сообщества специалистов по оценке внутри крупных международных структур, например ООН. Задача комитета – давать советы по запросу нынешнего руководства EvalPartners. В состав комитета входят люди, которые в прошлом занимали руководящие позиции в EvalPartners. Например, я была сопредседателем EvalPartners в 2013–2015 годах.

Это был очень необычный и интересный опыт, который дал мне возможность познакомиться с работой профессиональных объединений специалистов по оценке в разных странах и регионах мира. Я тогда сформулировала на его основе пару простых правил, которые, по моим наблюдениям, позволяют этим объединениям успешно работать.

Члены правления профессионального объединения – волонтеры, а волонтер будет делать только то, что хочет и считает важным сам. Я много раз видела, как люди соглашались сделать что-то под давлением коллег, но потом обстоятельства всегда складывались так, что у них не оказывалось времени и возможности выполнить обещанное. Поэтому, на мой взгляд, правлению, во-первых, стоит использовать принцип работы импровизационного театра: никогда нельзя отвергать предложение партнера по «сцене». Его можно обыграть, развить, но только не отвергнуть. Иначе работа правления легко заходит в тупик, из которого очень сложно выйти. Второе правило – члену правления стоит добиваться того, чтобы коллеги приняли его идею, только если он готов лично взяться за ее реализацию. Иначе есть риск, что она так и останется идеей.

По-другому правление может работать, только когда у профессионального объединения появляется возможность нанять сотрудников, и можно разделить принятие решений и их исполнение.

Профессиональные термины в сфере оценки: стоит ли экономить слова?

Мы так близки, что слов не нужно… Люди, принадлежащие к каким-то сообществам, в том числе профессиональным, часто вырабатывают общий язык, понятный только внутри сообщества. Самый типичный пример этого – профессиональные термины, когда сложное понятие «упаковывается» в одно-два слова. Это сильно упрощает коммуникацию внутри сообщества, потому что можно передать большой объем смысла минимумом слов. Иногда профессионалы понимают друг друга буквально с полуслова. Но, с другой стороны, это затрудняет распространение идей за пределы профессионального сообщества.

В прошлом году я давала интервью журналистке из «Коммерсанта» для статьи про измерение результатов социальных проектов. В конце нашего разговора она спросила, как меня называть в статье.

– Я специалист по мониторингу и оценке.

– По оценке чего?

– (Пауза) Проектов социальной направленности.

Мы – наше профессиональное сообщество – в своей время перевели английское «evaluation» как «оценка», и так его и используем. Но при этом рядом с нами существуют и оценка рисков, и оценка экологического воздействия, и оценка социального воздействия (например, какой-то компании на местное сообщество, где находится ее предприятие). И, на мой взгляд, пока мы не начнем использовать терминологию, которая будет интуитивно понятна более широкому кругу людей, нам будет сложно продвинуть нашу «оценку» как вид профессиональной деятельности.

На практике, на мой взгляд, это означает, что не нужно стремиться, чтобы в русском переводе какого-то термина было столько же слов, сколько в английском оригинале, тем более что у нас логика языка совершенно другая. Пусть будут длинные термины. Не оценка – а оценка социальных проектов или проектов социальной направленности. Не импакт или воздействие – а воздействие проекта (или организации) на социальную (или экологическую) ситуацию.