2022: знаковые события в сфере оценки в донорских и благотворительных организациях

В начале года коллеги из Форума доноров попросили меня дать комментарии для статьи, над которой они работали. В итоге комментарии в статью не поместились, но я подумала, что они могут быть кому-то интересны.

Меня попросили написать, какие события, связанные с темой мониторинга и оценки в донорских и благотворительных организациях, показались мне знаковыми в 2022 году. Первое, что хочется отметить, - доклад Анны Чечик, директора по развитию Благотворительного фонда «Система», на конференции АСОПП. В 2021 году, на предыдущей конференции, мы обсуждали с Анной, можно ли сделать универсальный набор показателей для оценки благотворительной деятельности и импакт-инвестиций. Я ее убеждала, что это невозможно, и на практике это пока ни у кого не получилось. Анна отвечала, что они все равно попробуют. Поэтому я с большим нетерпением ждала ее выступления на конференции 2022 года.

И оказалось, что БФ «Система» действительно разработал набор – только не показателей, а критериев, которым должен соответствовать импакт-проект. Обязательных критериев всего три:

• Результативность проекта одновременно охватывает и бизнес, и общество и/или окружающую среду,
• Все ожидаемые результаты проекта измеримы и достижимы,
• Проект обладает долгосрочным эффектом (3–5 лет).

Также предлагается два рекомендуемых критерия («Проект учитывает экспертизу компании» и «Проект верифицирован внешними экспертами») и 12 дополнительных. Предлагаемая шкала оценки по каждому из критериев простая: полностью соответствует, частично соответствует, не соответствует.

Результаты исследования БФ «Система» и доклад Анны Чечик для меня являются знаковым событием, потому что у нас в стране применительно к оценке много говорят о показателях, но почти не говорят о критериях. А последние, на мой взгляд, важнее. Раз мы определяем оценку как инструмент для определения ценности проекта, важно иметь определение того, что мы считаем ценным. И эта задача как раз решается с помощью критериев, которые, по сути, представляют собой характеристики ценного проекта.

Второе событие, которое показалось мне интересным и знаковым, - вебинар (и подготовленный на его основе блог) «Получение знаний и оценка, основанные на доверии», который совместно провели проект «Филантропия, основанная на доверии» (Trust-Based Philanthropy Project) и Центр инноваций в оценке (Center for Evaluation Innovation).

Участники обсуждали, как изменить ситуацию, когда доноры делают оценку сверху вниз, фокусируясь на измерении количественных показателей и краткосрочных результатах. Как сделать так, чтобы доноры использовали оценку как инструмент для своего обучения и развития, а не пытались доказывать, что их ограниченные по размеру грантовые программы способны существенно повлиять на решение сложных социальных проблем?

Предлагаемый подход к обучению и оценке, основанных на доверии, фокусируется на трех аспектах взаимодействия доноров и грантополучателей:

• Насколько доноры следуют своим ценностям? Этот вопрос помогает донором осознать свою ответственность перед грантополучателями как партнерами и фокусироваться на возврате на отношения (return on relationship – ROR), а не на инвестиции (return on investment – ROI).
• Насколько доноры поддерживают своих партнеров-грантополучателей в достижении их целей? Этот вопрос помогает донорам совершенствовать свои механизмы принятия решений так, чтобы помогать грантополучателям получать долгосрочные результаты, а также осознать свою роль катализатора формирования устойчивой системы некоммерческих организаций, сотрудничающих ради достижения общих целей.
• Насколько удается добиваться ощутимых изменений по какой-то проблеме или для какого-то сообщества? Обучение и оценка, основанные на доверии, фокусируются на долгосрочных изменениях и понимании того, как социальные изменения происходят на самом деле. Например, корректнее анализировать изменения на отрезках в 5-10 лет, а не от года к году.

Если хотите подробнее узнать о разработке БФ "Система" и оценке, основанной на доверии, вот ссылки на полезные материалы:

• Запись сессии с докладом Анны Чечик на конференции АСОПП: https://www.youtube.com/watch?v=VmI0i-wd-nE (начало доклада на метке 1:08:00)
• Презентация Анны на конференции АСОПП: https://drive.google.com/file/d/1iLu2aJ4ZduB_Eq-P0mbCVtirmoM5xmv9/view
• Гайд для создания и оценки импакт-проектов, разработанный БФ «Система»: https://bf.sistema.ru/upload/iblock/abe/tmvvep8snmgywrkonvn6b24s9rub9i3c/Gai_d-impakt-proekty_final.pdf
• Запись вебинара про оценку, основанную на доверии: https://www.trustbasedphilanthropy.org/resources-articles/2022-1-25-cei-tbp-learning-evaluation
• Блог про оценку, основанную на доверии: https://www.trustbasedphilanthropy.org/blog-1/3-1-toward-trust-based-framework-learning-evaluation

Тирания показателей

Прочитала, наконец, книгу «Тирания показателей: как одержимость цифрами угрожает образованию, здравоохранению, бизнесу и власти» Джерри Мюллера.

Если суммировать содержание, получаются, на мой взгляд, два тезиса:

1. Количественные показатели хорошо работают, если использовать их для внутреннего управления, и обязательно обсуждать внутри команды, что полученные цифры означают в контексте складывающейся ситуации.
2. Количественные показатели не работают, если использовать их как инструмент внешнего управления и привязывать к ним оценку и вознаграждение работы исполнителей. Исполнители быстро придумывают, как получить нужные значения показателей, обычно в ущерб делу.

Маленькая иллюстрация к первому тезису из моей практики. Я делала оценку программы для предпринимателей, целью которой было помочь им увеличить оборот бизнеса как минимум на 25 процентов. Беру интервью у одного из участников – владельца небольшого магазина в торговом центре. И он мне с восторгом рассказывает, какая это замечательная программа.

- А что у вас с оборотом?

- Упал на 10 процентов.

- И вы довольны программой?

- Да. У предпринимателей в соседних магазинах из-за кризиса оборот сократился как минимум на 40 процентов.

Вышла моя статья о методике Outcome mapping

Огромное спасибо коллегами из журнала «Позитивные изменения»! Благодаря им у меня, наконец, получилось рассказать о методике Outcome mapping – Создание карт поведенческих изменений.

Я обычно рассказываю и пишу о вещах, которые уже удалось попробовать на практике. Про методику создания карт поведенческих изменений я знаю уже несколько лет, и она мне очень нравится, но попробовать применить ее пока не удалось. А жаль, потому что, на мой взгляд, она может быть полезна во многих ситуациях. Суть методики в том, что она предлагает описывать ожидаемые результаты проекта как набор изменений в поведении людей, в том числе внутри организаций, которые можно наблюдать и фиксировать.

Не так давно меня спросили на семинаре по мониторингу, как можно измерить «социальную адаптированность» ребенка. На мой взгляд, «социальная адаптированность» — это состояние, которое должно каким-то образом проявляться в поведении, в том, что ребенок делает. Если он плохо социально адаптирован, то ведет себя одним образом, если хорошо – демонстрирует какие-то другие модели поведения. Значит, об изменениях в социальной адаптированности можно судить по изменениям в поведении. А это как раз то, что предлагает делать методика Outcome mapping.

Я люблю оценку

 

Отмечать 15 февраля EVALentine’s Day – День влюбленных в оценку придумал американский специалист по оценке Джон Гаргани. Это такой несерьезный праздник, когда можно говорить не о том, почему оценка социальных проектов и программ важна, а почему нам, специалистам по оценке, нравится ей заниматься.

Для меня один из любимых моментов в ходе оценки – это когда при анализе собранных данных начинаешь видеть какие-то закономерности, когда складывается стройная картина того, что произошло в результате проекта, и особенно когда в этой картине обнаруживаются какие-то неожиданные позитивные моменты.

И меня очень радует, когда в результате оценки что-то новое в своих проектах открывают люди, которые их реализуют. В прошлом году я работала с Благотворительным фондом «Арифметика добра» по оценке одного из их проектов. Было очень приятно, когда после ее завершения коллеги поделились, что благодаря оценке открыли для себя новые смыслы и по-иному увидели свою деятельность, в которой, казалось бы, им все уже было понятно.

Руководящие принципы оценки ПРООН стали доступны на русском!

Офис оценки Программы развития ООН, самого крупного из агентств этой системы, перевел свои «Руководящие принципы проведения оценки» на русский язык. Насколько мне известно, это первый такой случай в истории, раньше все руководящие документы на тему оценки в агентствах ООН существовали только на английском языке.

Руководство написано для менеджеров внутри ПРООН, которые планируют и организуют проведение оценки, включая найм внешних консультантов, а также координируют процесс принятия решений по результатам оценки и оценки качества проведенной оценки. У нас не так много литературы по теме оценки на русском языке, и она в основном посвящена методологическим аспектам оценки. А тут появилась возможность посмотреть, как выглядит оценка с точки зрения тех, кто ее заказывает и ею управляет.

Перевод не идеальный: например, мне понадобилось залезть в английский оригинал, чтобы выяснить, что «Круг полномочий оценки» — это перевод Terms of Reference (Техническое задание). Тем не менее документ дает неплохое представление о том, как может выглядеть архитектура оценки в большой организации, которая работает во множестве мест, и где оценка применяется уже много десятилетий. Например, в ПРООН есть децентрализованная оценка страновых программ, которая может быть промежуточной и итоговой. Организацией и управлением такой оценкой занимаются страновые офисы ПРООН. Также есть независимая оценка страновых программ, которая относится уже к ведению Независимого офиса оценки в штаб-квартире агентства. А есть тематические оценка, объектом которой становится работа всего агентства в той или иной тематической области.

Кроме того, в «Руководящих принципах» приведены шаблоны управленческих документов, которые нужно разрабатывать в процессе оценки: например, форма для плана оценки или форма для расчета бюджета оценки.

Вот ссылка на станицу русского перевода руководства: http://web.undp.org/evaluation/guideline/Russian/index.shtml

И на станицу английского оригинала: http://web.undp.org/evaluation/guideline/index.shtml

 

«Единство и борьба» методов монетарной оценки

В конце января я была на вебинаре по анализу издержек и выгод (cost-benefit analysis – CBA), и неожиданно закрыла для себя один из вопросов, который давно «грыз» меня по поводу SROI (social return on investment – социальный возврат на инвестиции). Кстати, в CBA под выгодами (benefits) имеются в виду социальные результаты, и на русский язык этот метод будет корректнее перевести как анализ созданных социальных благ и понесенных при этом затрат.

CBA я изучала в США в середине 1990-х, когда училась в магистратуре. В том курсе CBA базировался на экономической теории общественного блага (public good). Английское «good», как, кстати и русское «добро», одновременно означает и благо, и товар. Общественные блага – это такие особые товары, полезность которых для отдельно взятого потребителя существенно ниже стоимости их производства, поэтому отдельный человек их никогда не купит. Но зато ими могут одновременно пользоваться много людей без потери полезности. И эти люди могут договориться, скинуться и купить такой товар вскладчину. Или делегировать функцию производства общественных благ государству, «скидываясь» на это своими налогами.

Стоит отметить, что возможность переводить деньги с мобильного подтвердило данную идею на практике. С точки зрения экономики, если человек отдал за что-то деньги, то полезность того, что он получает взамен, для него как минимум не меньше этой суммы. Соответственно, для человека, который перечислил деньги на чье-то лечение, то, что этот человек получит лечение, - благо, польза, пусть и небольшая.

Когда делают CBA, нужно посчитать, с одной стороны, затраты на производство интересующего нас общественного блага, а с другой – суммарную денежную оценку этого блага для всех, кто им пользуется. Потом с полученными суммами проводится хитрая манипуляция под названием дисконтирование, и затем сравнивают итоговые денежные оценки полученных благ и затрат. И хорошо, когда благ получается больше, чем затрат.

SROI предполагает похожий процесс, но нужно учитывать денежную оценку ценности/полезности созданных благ только для непосредственных благополучателей проекта. Например, у вас проект, в рамках которого вы привлекаете волонтеров, и они убирают одиноким пенсионеркам квартиры. SROI учитывает только благо, которое получили пенсионерки. Время волонтеров – это затраты. Но, с точки зрения экономики, если волонтер потратил три часа своего времени на что-то, то он получил как минимум столько же пользы (блага). Плюс, возможно, организация, привлекавшая волонтеров, по сути, сэкономила ресурсы, так как не нанимала уборщиков. В CBA нужно учесть блага, полученные всеми участниками процесса, поэтому суммарное благо получается больше, чем при использовании SROI.

Меня всегда смущало, что на семинарах по SROI про CBA говорят, что это слишком сложно и вам не нужно, и никогда не говорят, что при использовании CBA оценка полученного блага будет больше.

На январском вебинаре по CBA своим опытом делилась Сальвия Виньетти из Центра индустриальных исследований в Милане. Они делают CBA для инфраструктурных проектов, например, строительства или ремонта дорог. Оказалось, они тоже занимают позицию, что созданные блага нужно считать только для непосредственных благополучателей. Но есть внятное объяснение такой позиции. Во-первых, так проще и дешевле – в смысле трудозатрат – посчитать создаваемые блага. Во-вторых, если объем создаваемых благ превысит объем затрат даже при таком ограниченном учете, мы можем быть уверены, что на данный проект стоит тратить деньги.

Когда Сильвия сказала это, я подумала: «Бинго, это объяснение отлично подходит и для SROI».

Коллеги, если кому-то интересна тема CBA, вот ссылка на материалы вебинара, к сожалению, только на английском языке: https://www.evalforward.org/webinars/cost-benefit-analysis

За цифрами должны быть видны люди

«Используйте статистику, чтобы описать масштаб явления, но сопровождайте ее историями, чтобы за цифрами были видны люди». Это цитата Майкла Квина Пэттона из его недавнего видео на YouTube.

Майкл Пэттон – человек, который за пятьдесят лет работы в сфере оценки сделал невероятно много для ее развития, и ему по-прежнему интересно двигаться вперед. Слушать его выступления – каждый раз праздник для интеллекта. И у него всегда получается связать любые актуальные события с оценкой. Февраль – месяц «черной» истории в США. В своем видео Пэттон ссылается на колонку в Нью-Йорк Таймс, посвященную подходам к изучению истории рабства. Тема рабства для США – примерно то же, что тема политических репрессий в СССР для нас, только у них потомки рабов и рабовладельцев отличаются внешне, что создает дополнительное напряжение.

Автор колонки пишет, что, анализ статистики о масштабах работорговли скрывает страдания людей, ставших ее жертвами. Пэттон напоминает о принципе сочетания методов, широко принятом сегодня в оценке. Но не о его прагматической механике: выбор методов сбора и анализа должен соответствовать вопросам оценки, - а о его гуманистической сути: социальные проекты пытаются решать реальные проблемы реальных людей, и, хотя цифры важны для понимания масштабов как проблемы, так и результатов проекта, за ними нельзя терять истории этих людей. «No numbers without stories, no stories without numbers» - «Истории и цифры – всегда вместе».