Новый онлайн-курс по теории изменений

Оценка – это про красоту. Так сказала в прошлом декабре Наталья Гладких, главный редактор журнала «Позитивные изменения», подводя итоги 2023 года: «Про красоту проектов, которая становится видна, когда за сухими цифрами о количестве проведенных мероприятий и их участников мы начинаем распознавать истории изменений — того, что и называется импактом».

А в этом декабре благодаря Наталье я участвовала в очень красивых съемках онлайн курса «Теория изменений для управления и оценки социальным проектом». Так что оценка – это точно про красоту.

Курс уже готов и открыт для всех: https://edu.dobro.ru/courses/188/ И даже сертификат в конце обучения дают.

Практики оценки в компаниях – участниках конкурса «Лидеры корпоративной благотворительности»

В этом году я в очередной раз участвовала в работе жюри конкурса «Лидеры корпоративной благо­твори­тель­ности» Форума Доноров, а также сделала анализ практик применения оценки в компаниях – участниках конкурса. Результаты анализа представлены в брошюре «Все о лидерах 2024», стр. 29.

Ниже привожу полный текст своего материала:

Оценка – это вынесение суждения о ценности или значимости чего-либо. В практике управления социальными проектами и программами оценка определяет вектор принимаемых решений: поддержать или отказать в поддержке, продолжить поддержку или нет. Причем в компаниях, поддерживающих проекты НКО и инициативных групп жителей, оценку одного проекта нужно делать дважды: на этапе рассмотрения проектной заявки и после реализации проекта.

В небольших компаниях, где решения о благотворительной поддержке принимает владелец бизнеса, не обязательно подробно регламентировать процесс оценки проектных заявок и реализованных проектов и его результаты. В больших компаниях, где функция оценки делегирована подразделениям, отвечающим за корпоративную благотворительную деятельность, потребность в такой формализации есть. Анализ анкет компаний, представленных в рамках конкурса «Лидеры корпоративной благотворительности 2024 показал, что в 2023 году несколько компаний сделали заметные шаги по формализации процессов оценки своего воздействия.

Например, появились примеры регламентирования компаниями подходов к измерению качества жизни в городах присутствия. В 2022 году МКПАО «ОК РУСАЛ» разработала и начала использовать «Индекс устойчивого развития городов» для определения приоритетных направлений социальных инвестиций в городах присутствия. Оценка с использованием результатов изменения Индекса интегрирована в цикл управления социальными инвестициями компании. Интересно, что первым этапом этого цикла является оценка воздействия компании на основе актуального замера индекса. На втором этапе компания планирует обсуждать результаты этой оценки с ключевыми заинтересованными сторонами, после чего на третьем этапе цикла должны приниматься решения о реализации социальных инвестиций. Четвертый этап - разработка и реализация программ, которые должны оказать положительно воздействие на параметры, измеряемые «Индексом устойчивого развития городов».

Похожую модель оценки в 2023 году начали внедрять в свою практику ПАО «Северсталь» и Металлоинвест. ПАО «Северсталь» разработала методику анализа показателей качества жизни в регионах своего присутствия по 11 ключевым направлениям (жилищные условия, доход и работа, здоровье, образование и т.д.). Результаты такой оценки помогают компании определить зоны развития в городах присутствия и корректировать план социально-экономических мероприятий. Металлоинвест в 2023 году разработал Индекс качества жизни малых городов, который рассчитывается на основе 70 показателей устойчивого развития городов по таким направлениям, как экология, безопасность, образование, здравоохранение, состояние городской инфраструктуры.

В Благотворительном фонде «Вклад в будущее» ПАО Сбербанк идет работа по регламентированию оценки социального воздействия. Для этого была разработана Методика оценки решений с учетом социальной значимости, которая используется для оценки, по сути, проектных заявок. В рамках методики предлагаемое решение оценивают по ряду параметров (например, масштаб решаемой социальной проблемы и масштаб вклада решения в решаемую проблематику, соответствие предлагаемого решения политики банка), из которых затем складывает интегральный показатель социальной значимости.

Параллельно развивает практика использования вынесения формализованных суждений (оценок) по уже реализованным проектам, что упрощает задачу сравнительного анализа большо массива реализованных проектов. Например, СИБУР использует систему индексов, разработанную в 2022 году, которая включает:

• Индекс результативности проекта, для расчета которого первоначальные цели проекта, указанные в конкурсной заявке, соотносятся с результатами, достигнутыми по итогам проекта и указанными в отчете.
• Индекс устойчивости проекта, который определяется с учетом продолжения активной деятельности после завершения проекта; наличия или отсутствие новых идей, инициатив и акций по итогам проекта; масштаба и характера вовлеченности местных сообществ; наличия и характера обратной связи от заинтересованных сторон.
• Индекс коммуникационной активности грантовых проектов, который определяет полноту и качество информационного сопровождения проекта, а также корректность представления СИБУРа в качестве организатора грантовой программы «Формула хороших дел».

Свой подход формализации суждений (оценки) реализованных грантовых проектов есть в МКПАО «ОК РУСАЛ». Все проекты оцениваются по пяти критериям:

• эффективность реализации проекта,
• устойчивость проекта,
• влияние проекта на развитие территории,
• вклад проекта в развитие организации-благополучателя,
• открытость и доступность информации о проекте.

По каждому критерию ставится оценка по 4-балльной шкале:

• «не соответствует» ставится, если ни один источник не подтверждает соответствия данному критерию,
• «соответствует в меньшей степени» ставится, если один важный источник и/или более источников не подтверждает соответствия данному критерию, но есть важные источники, подтверждающие соответствие.
• «соответствует в большей степен» – если существуют один или более источников, не подтверждающих соответствия данному критерию, но имеются более одного важного источника, подтверждающего соответствие.
• «полностью соответствует» – если все источники подтверждают соответствие критерию.

Интересный пример формализации оценки и ее интеграции в процесс реализации есть у консалтинговой компании Kept в рамках программы раннего вмешательства «Уверенное начало»  для детей от рождения и до 3 лет, у которых по биологических причинам нарушено развитие или есть серьезные факторы риска для появления отставания в разных областях развития. Программа использует международные шкалы для оценки состояния ребенка как на входе, так и по ходу работы с ним. Кроме того, в процессе работы для каждого ребенка определяют измеряемые ожидаемые результаты (цели), и есть качественная шкала для оценки, то есть вынесения суждения о ценности фактического результата. В шкале шесть ступеней от -3 до +2, где:

-3 – хуже, чем было,

-2 – изменений нет,

-1 – чуть меньше ожидаемого,

0 – цель достигнута,

+1 – чуть больше ожидаемого,

+2 – значительно больше ожидаемого.    

Нужно ответить, что примеры такой формализации вынесения суждений (оценок) и анализа социального воздействия проектов пока остаются редкостью. Большинство компаний, заполнивших анкеты, собирают данные о непосредственных количественных результатах поддержанных проектов: числе партнеров, числе поддержанных проектов, числе участников мероприятий.

К сожалению, компании редко приводят примеры, как эти данные используются для принятия решений. Хороший пример описала Почта России. Совместно с Национальным регистром доноров костного мозга (РДКМ) и Русфондом Почта России реализует проект по привлечению потенциальных доноров костного мозга по почте. Примерно через полгода после запуска программы по донорству костного мозга стало видно, что довольно много людей, которые подали заявки на вступление в регистр и получили наборы для вступления, не отправили свой биоматериал в регистр. Чтобы решить эту проблему, был доработан личный кабинет РДКМ, чтобы он мог напоминать конкретным заявителям о необходимости отправить биоматериал. Кроме того, изменили систему информирования о проекте, начав более точечно работать именно с заинтересованными аудиториями. В результате «конверсия» (соотношение количества людей, подавших заявку на получение по почте набора для вступления в регистр, и количества биообразцов, поступивших от них в лабораторию регистра) выросла с 31% в 2021 году до 55% в первой половине 2024 года. 

Компания «ОМК» отметила, что анализ результатов грантового конкурса «ОМК Партнерство» в 2023 года показал, что регионы, в которых презентация программы проводилась очно, были наиболее активными в конкурсе. Поэтому в 2024 году компания организовала очные презентации в 18 городах присутствия. Как результат, полученное количество заявок стало рекордным за все годы проведения конкурса, заявки пришли даже из регионов, из которых их никогда не подавали до того. (Данный пример позволяет заключить, что компания положительно оценивает рост числа заявок и степень включенности регионов присутствия в конкурс.)

Умный и еще умнее

Наверняка многие знакомы с моделью SMART-результатов. SMART – это аббревиатура, составленная из первых букв английских названий критериев, которым должны соответствовать результаты планируемого проекта или программы. При этом само слово SMART означает «умный», так что SMART модель результатов – это модель умных результатов.

Но, как всегда, нет предела совершенству. В свежем руководстве по управлению, направленному на достижение результатов, выпущенном Детским фондом ООН, предложена модель SMARTER – то есть, более умных – результатов. Она опять описывает критерии, которым должны соответствовать результаты. Интересно, что в нее не просто добавили два новых критерия, но и обновили почти все критерии в SMART-части. Из «старых» критериев остался только Measurable – Измеримые.

Таблица. Критерии для SMART и SMARTER результатов

S	Specific - Конкретные	Strategic – Стратегические: определены с учетом сравнительных преимуществ организации, которая реализует проект, и его контекста
M	Measurable - Измеримые	Measurable – Измеримые: существуют методы и подходы для измерения результатов.
A	Achievable - Достижимые	Aligned – Согласованные с национальными приоритетами и приоритетами партнеров.
R	Relevant – Соответствующие характеру проекта	Realistic – Реалистичные: результаты должны быть достижимы при том уровне ресурсов и усилий, которые запланированы в рамках проекта.
T	Time-bound – Имеющие временную привязку	Transformative – Трансформирующие: достижение результатов проекта должно способствовать системной трансформации.
E	-	Empowering – Вдохновляющие: должно быть ясно, что изменения, создаваемые проектов, будут позитивными.
R	-	Reportable – Описываемые: должна быть понятна связь между предпринимаемыми действиями и результатами всей уровней.

  

Трудности перевода, или приключения термина "импакт" в России

Недавно я была на сессии по оценке на конференции Форума Доноров. Говорили про то, как оценка помогает накапливать знания. Но меня зацепил рассказ Ирины Гарт, как они с Тимуром Гаджиджараевым из Ассоциации благотворительных организаций «Друзья милосердия» перед тем, как рассказать об оценке членам ассоциации на мероприятии на Северном Кавказе, обсуждали, как перевести на русский англоязычные термины. И решили заменить «импакт» на «преобразование».

Импакт (impact) – термин многострадальный, причем как в англоязычном профессиональном сообществе, так и в смысле его перевода на русский язык. Одной из первых термин «impact» стала использовать как элемент описания логики проекта американская грантодающая организация United Way. Она давали гранты на небольшие проекты, реализуемые местными сообществами, например, на строительство детских площадок, и хотелось, чтобы грантополучатели задумывались не только о своих действиях, но и о развитии своих сообществ. Например, вы оборудуете место для досуга подростков. В результате эти подростки меньше праздно шатаются по улицам, что, в свою очередь, снижает риск, что они сделают что-то антиобщественное, и, в итоге, жизнь в сообществе становится более спокойной. Английскими словами эта цепочка изменений описывалась как «output» - результат, который вы сделали своим руками, «outcome» - изменение, которое произошло дальше уже без вашего непосредственного участия, и «impact» - изменения в сообществе в итоге запущенной вами цепочки изменений.

Модель эта получила широкое распространение. Но хорошо работает только для проектов, когда вы что-то строите: детские площадки, дороги или школы. Как только проект, например, начинает людей обучать, сразу становится сложно определить, что вы «сделали своими руками» - «output»: то, что человек прошел обучение, или те знания, которые он получил.

Параллельно в сфере оценки термин «impact» использовался и в другом значении: как разница в значении какого-то заранее выбранного показателя при наличии и отсутствии проектного воздействия. И показатели обычно выбирали на уровне результатов, которые в описанной выше модели назвали бы «output». Это значение термина «impact» стали использовать, в том числе, в сфере импакт-инвестиций.

К нам оценка пришла в 1990-е с международными донорскими программами, которые использовали модель описания результатов по схеме «output» - «outcome» - «impact». Точных эквивалентов в русском языке нет, поэтому у нас эту модель как только не переводили: краткосрочные – среднесрочные – долгосрочные результаты, непосредственные результаты – промежуточные результаты – влияние (воздействие) проекта, непосредственные результаты – социальные результаты – социальный эффект. С приходом идей импакт-инвестиций появились термины «воздействие» и «импакт» - как перевод и просто написание термина «impact» русскими буквами в его значении, принятом в этой сфере. И вот теперь еще один вариант – «преобразование».

Похоже, нам теперь любое профессиональное обсуждение нужно будет начинать с договоренности о том, в каком значении мы будет использовать термины. Что, кстати, и сделала Ирина Гарт на конференции Форума Доноров: в самом начале сессии она сказала, что в рамках обсуждения под социальным эффектом будут пониматься изменения во внешней среде в результате изменений, созданных проектом или программой.

Специалисты по оценке тоже шутят

Крис Лайси, американский специалист по оценке и визуализации данных, уже много лет рисует карикатуры на тему оценки. И наконец у него появилась карикатура, которую можно перевести на русский!

Как и зачем "собирать урожай" результатов

 

Коллеги с "Фабрики позитивных изменений" внедрили новую практику: подкасты, в которых ведущий обсуждает с автором его статью в журнале "Позитивные изменения". В этом подкасте говорим с Алексеем Хасяновым о моей статье про методику Outcome Harvesting. 

Я обычно говорю о том, что делала на практике. Здесь другой случай: я была на семинаре у Рикардо Вилсон-Грау, автора методики, и на выступлениях зарубежных коллег, которые ее использовали, но сама на практике пока не применяла. Но, несмотря на то, что "попробовать руками" "сбор урожая" у меня пока не получилось, уверена, что она может быть полезной.

Фокус на решении

У меня тут случилось забавное совпадение. Я сейчас делаю оценку большой программы, в рамках которой нужно, в том числе, определить, насколько результаты больших репрезентативных опросов конвертируются в управленческие решения в интересах детей. И получилось, что лучше всего работает механизм, когда лицам, принимающим решения, приносят не общий отчет с цифрами, а делают углубленный анализ собранных данных, выделяют узкие группы детей или семей, которые сталкиваются с какими-то конкретными проблемами, и предлагают варианты решения этих проблем.

Днем написала это в отчете, а вечером встречаюсь со знакомой, и она мне рассказывает про конструктивную журналистику. Это такое относительно новое направление в журналистике, которое опирается на знания из области позитивной психологии и нейронауки. Последняя, например, установила, что, если человек воспринимает мир как полный негатива и проблем, это приводит к хроническому стрессу, который снижает его способность искать решения. И наоборот, фокус на возможных решениях повышает вероятность их использования. Поэтому материалы конструктивной журналистики говорят не только о проблемах, но и о том, как их можно решить.

Получилась такая неожиданная дополнительная триангуляции результатов оценки с результатами научных исследований. Но если взглянуть шире, получается, что, если в ходе оценки обнаруживаешь, что что-то не работает, то, когда пишешь об этом в отчете, имеет смысл сразу же, буквально в следующем абзаце, предложить варианты решения проблемы. Если верить нейронауке, такой фокус на решении должен помочь клиенту принять негативную информацию конструктивно.