Как и зачем "собирать урожай" результатов

 

Коллеги с "Фабрики позитивных изменений" внедрили новую практику: подкасты, в которых ведущий обсуждает с автором его статью в журнале "Позитивные изменения". В этом подкасте говорим с Алексеем Хасяновым о моей статье про методику Outcome Harvesting. 

Я обычно говорю о том, что делала на практике. Здесь другой случай: я была на семинаре у Рикардо Вилсон-Грау, автора методики, и на выступлениях зарубежных коллег, которые ее использовали, но сама на практике пока не применяла. Но, несмотря на то, что "попробовать руками" "сбор урожая" у меня пока не получилось, уверена, что она может быть полезной.

Фокус на решении

У меня тут случилось забавное совпадение. Я сейчас делаю оценку большой программы, в рамках которой нужно, в том числе, определить, насколько результаты больших репрезентативных опросов конвертируются в управленческие решения в интересах детей. И получилось, что лучше всего работает механизм, когда лицам, принимающим решения, приносят не общий отчет с цифрами, а делают углубленный анализ собранных данных, выделяют узкие группы детей или семей, которые сталкиваются с какими-то конкретными проблемами, и предлагают варианты решения этих проблем.

Днем написала это в отчете, а вечером встречаюсь со знакомой, и она мне рассказывает про конструктивную журналистику. Это такое относительно новое направление в журналистике, которое опирается на знания из области позитивной психологии и нейронауки. Последняя, например, установила, что, если человек воспринимает мир как полный негатива и проблем, это приводит к хроническому стрессу, который снижает его способность искать решения. И наоборот, фокус на возможных решениях повышает вероятность их использования. Поэтому материалы конструктивной журналистики говорят не только о проблемах, но и о том, как их можно решить.

Получилась такая неожиданная дополнительная триангуляции результатов оценки с результатами научных исследований. Но если взглянуть шире, получается, что, если в ходе оценки обнаруживаешь, что что-то не работает, то, когда пишешь об этом в отчете, имеет смысл сразу же, буквально в следующем абзаце, предложить варианты решения проблемы. Если верить нейронауке, такой фокус на решении должен помочь клиенту принять негативную информацию конструктивно.

Вышла моя статья о методике Outcome Harvesting

В журнале «Позитивные изменения» вышла моя статья про методику Outcome Harvesting, разработанную для оценки программ и проектов. Ее фокус на поиске всех результатов оцениваемого проекта, а не только ожидаемых.

Перевод английских терминов на русский – часто нетривиальная задача. По сути, в данном контексте «harvesting» ближе всего по смыслу к русскому «пожинать плоды». Но «пожинание плодов» как название методики звучит не очень, поэтому в статье я называю ее «сбором урожая» или «жатвой».

В «Позитивных изменениях» рисованные иллюстрации. Мою статью сопроводили картиной, на которой девушки собирают яблоки, я прекрасный юноша задумчиво рассматривает спелый плод. Как-то сразу приходит на ум дерево познания добра и зла. Классный образ для оценки: она как раз для того и делается, чтобы определить, насколько «хорошим» является оцениваемый проект или программа.

«Разбор полетов»: самый простой способ самооценки

На прошлой неделе я была на интересном вебинаре, посвященном After-Action-Review – Анализу после завершения деятельности. По сути, это «разбор полетов», который проводят их непосредственные участники, чтобы научиться на полученном опыте. Изначально подход придумали в 1970-е в американской армии. Затем его начали применять в бизнесе, а с 2010-х его используют и в некоммерческом секторе.

Технологии анализа простая. Команда исполнителей, которая недавно завершила какую-то работу, собирается и обсуждает:

• Каковы были планы и ожидания от этой работы?
• Насколько эти планы и ожидания реализовались на практике?
• Что и почему получилось хорошо?
• Что и как можно было бы сделать лучше?

Главное условие успешного проведения «разбора полетов» - обеспечить возможность высказать свое мнение всем участникам команды исполнителей, невзирая на табель о рангах. Это действительно работает: я использовала похожий подход в своей практике, и во время обсуждения того, как был реализован очередной этап программы, лучшее решение выявленной проблемы предложила ассистент.

На мой взгляд, анализ после завершения деятельности – первый инструмент, который стоит внедрить в свою деятельность организациям, когда они начинают задумываться об использовании оценки. Он простой, практически не требует никаких дополнительных затрат, но очень эффективный. Сессии можно проводить либо по окончании реализации отдельного проекта или мероприятия, либо разделить процесс реализации проекта на ряд этапов, и устраивать обсуждение после окончания каждого этапа.

На вебинаре был представлен адаптированный вариант «разбора полетов». Проект организаторов вебинара работал с фермерами в Эфиопии, и после его окончания сотрудники проекта провели сессии с фермерами-участниками проекта, где попросили их ответить на четыре вопроса, приведенные выше. А полученную таким образом информацию затем использовали при проведении обсуждения проекта членами команды проекта.

2022: знаковые события в сфере оценки в донорских и благотворительных организациях

В начале года коллеги из Форума доноров попросили меня дать комментарии для статьи, над которой они работали. В итоге комментарии в статью не поместились, но я подумала, что они могут быть кому-то интересны.

Меня попросили написать, какие события, связанные с темой мониторинга и оценки в донорских и благотворительных организациях, показались мне знаковыми в 2022 году. Первое, что хочется отметить, - доклад Анны Чечик, директора по развитию Благотворительного фонда «Система», на конференции АСОПП. В 2021 году, на предыдущей конференции, мы обсуждали с Анной, можно ли сделать универсальный набор показателей для оценки благотворительной деятельности и импакт-инвестиций. Я ее убеждала, что это невозможно, и на практике это пока ни у кого не получилось. Анна отвечала, что они все равно попробуют. Поэтому я с большим нетерпением ждала ее выступления на конференции 2022 года.

И оказалось, что БФ «Система» действительно разработал набор – только не показателей, а критериев, которым должен соответствовать импакт-проект. Обязательных критериев всего три:

• Результативность проекта одновременно охватывает и бизнес, и общество и/или окружающую среду,
• Все ожидаемые результаты проекта измеримы и достижимы,
• Проект обладает долгосрочным эффектом (3–5 лет).

Также предлагается два рекомендуемых критерия («Проект учитывает экспертизу компании» и «Проект верифицирован внешними экспертами») и 12 дополнительных. Предлагаемая шкала оценки по каждому из критериев простая: полностью соответствует, частично соответствует, не соответствует.

Результаты исследования БФ «Система» и доклад Анны Чечик для меня являются знаковым событием, потому что у нас в стране применительно к оценке много говорят о показателях, но почти не говорят о критериях. А последние, на мой взгляд, важнее. Раз мы определяем оценку как инструмент для определения ценности проекта, важно иметь определение того, что мы считаем ценным. И эта задача как раз решается с помощью критериев, которые, по сути, представляют собой характеристики ценного проекта.

Второе событие, которое показалось мне интересным и знаковым, - вебинар (и подготовленный на его основе блог) «Получение знаний и оценка, основанные на доверии», который совместно провели проект «Филантропия, основанная на доверии» (Trust-Based Philanthropy Project) и Центр инноваций в оценке (Center for Evaluation Innovation).

Участники обсуждали, как изменить ситуацию, когда доноры делают оценку сверху вниз, фокусируясь на измерении количественных показателей и краткосрочных результатах. Как сделать так, чтобы доноры использовали оценку как инструмент для своего обучения и развития, а не пытались доказывать, что их ограниченные по размеру грантовые программы способны существенно повлиять на решение сложных социальных проблем?

Предлагаемый подход к обучению и оценке, основанных на доверии, фокусируется на трех аспектах взаимодействия доноров и грантополучателей:

• Насколько доноры следуют своим ценностям? Этот вопрос помогает донором осознать свою ответственность перед грантополучателями как партнерами и фокусироваться на возврате на отношения (return on relationship – ROR), а не на инвестиции (return on investment – ROI).
• Насколько доноры поддерживают своих партнеров-грантополучателей в достижении их целей? Этот вопрос помогает донорам совершенствовать свои механизмы принятия решений так, чтобы помогать грантополучателям получать долгосрочные результаты, а также осознать свою роль катализатора формирования устойчивой системы некоммерческих организаций, сотрудничающих ради достижения общих целей.
• Насколько удается добиваться ощутимых изменений по какой-то проблеме или для какого-то сообщества? Обучение и оценка, основанные на доверии, фокусируются на долгосрочных изменениях и понимании того, как социальные изменения происходят на самом деле. Например, корректнее анализировать изменения на отрезках в 5-10 лет, а не от года к году.

Если хотите подробнее узнать о разработке БФ "Система" и оценке, основанной на доверии, вот ссылки на полезные материалы:

• Запись сессии с докладом Анны Чечик на конференции АСОПП: https://www.youtube.com/watch?v=VmI0i-wd-nE (начало доклада на метке 1:08:00)
• Презентация Анны на конференции АСОПП: https://drive.google.com/file/d/1iLu2aJ4ZduB_Eq-P0mbCVtirmoM5xmv9/view
• Гайд для создания и оценки импакт-проектов, разработанный БФ «Система»: https://bf.sistema.ru/upload/iblock/abe/tmvvep8snmgywrkonvn6b24s9rub9i3c/Gai_d-impakt-proekty_final.pdf
• Запись вебинара про оценку, основанную на доверии: https://www.trustbasedphilanthropy.org/resources-articles/2022-1-25-cei-tbp-learning-evaluation
• Блог про оценку, основанную на доверии: https://www.trustbasedphilanthropy.org/blog-1/3-1-toward-trust-based-framework-learning-evaluation

Тирания показателей

Прочитала, наконец, книгу «Тирания показателей: как одержимость цифрами угрожает образованию, здравоохранению, бизнесу и власти» Джерри Мюллера.

Если суммировать содержание, получаются, на мой взгляд, два тезиса:

1. Количественные показатели хорошо работают, если использовать их для внутреннего управления, и обязательно обсуждать внутри команды, что полученные цифры означают в контексте складывающейся ситуации.
2. Количественные показатели не работают, если использовать их как инструмент внешнего управления и привязывать к ним оценку и вознаграждение работы исполнителей. Исполнители быстро придумывают, как получить нужные значения показателей, обычно в ущерб делу.

Маленькая иллюстрация к первому тезису из моей практики. Я делала оценку программы для предпринимателей, целью которой было помочь им увеличить оборот бизнеса как минимум на 25 процентов. Беру интервью у одного из участников – владельца небольшого магазина в торговом центре. И он мне с восторгом рассказывает, какая это замечательная программа.

- А что у вас с оборотом?

- Упал на 10 процентов.

- И вы довольны программой?

- Да. У предпринимателей в соседних магазинах из-за кризиса оборот сократился как минимум на 40 процентов.

Вышла моя статья о методике Outcome mapping

Огромное спасибо коллегами из журнала «Позитивные изменения»! Благодаря им у меня, наконец, получилось рассказать о методике Outcome mapping – Создание карт поведенческих изменений.

Я обычно рассказываю и пишу о вещах, которые уже удалось попробовать на практике. Про методику создания карт поведенческих изменений я знаю уже несколько лет, и она мне очень нравится, но попробовать применить ее пока не удалось. А жаль, потому что, на мой взгляд, она может быть полезна во многих ситуациях. Суть методики в том, что она предлагает описывать ожидаемые результаты проекта как набор изменений в поведении людей, в том числе внутри организаций, которые можно наблюдать и фиксировать.

Не так давно меня спросили на семинаре по мониторингу, как можно измерить «социальную адаптированность» ребенка. На мой взгляд, «социальная адаптированность» — это состояние, которое должно каким-то образом проявляться в поведении, в том, что ребенок делает. Если он плохо социально адаптирован, то ведет себя одним образом, если хорошо – демонстрирует какие-то другие модели поведения. Значит, об изменениях в социальной адаптированности можно судить по изменениям в поведении. А это как раз то, что предлагает делать методика Outcome mapping.