Трудности перевода, или приключения термина "импакт" в России

Недавно я была на сессии по оценке на конференции Форума Доноров. Говорили про то, как оценка помогает накапливать знания. Но меня зацепил рассказ Ирины Гарт, как они с Тимуром Гаджиджараевым из Ассоциации благотворительных организаций «Друзья милосердия» перед тем, как рассказать об оценке членам ассоциации на мероприятии на Северном Кавказе, обсуждали, как перевести на русский англоязычные термины. И решили заменить «импакт» на «преобразование».

Импакт (impact) – термин многострадальный, причем как в англоязычном профессиональном сообществе, так и в смысле его перевода на русский язык. Одной из первых термин «impact» стала использовать как элемент описания логики проекта американская грантодающая организация United Way. Она давали гранты на небольшие проекты, реализуемые местными сообществами, например, на строительство детских площадок, и хотелось, чтобы грантополучатели задумывались не только о своих действиях, но и о развитии своих сообществ. Например, вы оборудуете место для досуга подростков. В результате эти подростки меньше праздно шатаются по улицам, что, в свою очередь, снижает риск, что они сделают что-то антиобщественное, и, в итоге, жизнь в сообществе становится более спокойной. Английскими словами эта цепочка изменений описывалась как «output» - результат, который вы сделали своим руками, «outcome» - изменение, которое произошло дальше уже без вашего непосредственного участия, и «impact» - изменения в сообществе в итоге запущенной вами цепочки изменений.

Модель эта получила широкое распространение. Но хорошо работает только для проектов, когда вы что-то строите: детские площадки, дороги или школы. Как только проект, например, начинает людей обучать, сразу становится сложно определить, что вы «сделали своими руками» - «output»: то, что человек прошел обучение, или те знания, которые он получил.

Параллельно в сфере оценки термин «impact» использовался и в другом значении: как разница в значении какого-то заранее выбранного показателя при наличии и отсутствии проектного воздействия. И показатели обычно выбирали на уровне результатов, которые в описанной выше модели назвали бы «output». Это значение термина «impact» стали использовать, в том числе, в сфере импакт-инвестиций.

К нам оценка пришла в 1990-е с международными донорскими программами, которые использовали модель описания результатов по схеме «output» - «outcome» - «impact». Точных эквивалентов в русском языке нет, поэтому у нас эту модель как только не переводили: краткосрочные – среднесрочные – долгосрочные результаты, непосредственные результаты – промежуточные результаты – влияние (воздействие) проекта, непосредственные результаты – социальные результаты – социальный эффект. С приходом идей импакт-инвестиций появились термины «воздействие» и «импакт» - как перевод и просто написание термина «impact» русскими буквами в его значении, принятом в этой сфере. И вот теперь еще один вариант – «преобразование».

Похоже, нам теперь любое профессиональное обсуждение нужно будет начинать с договоренности о том, в каком значении мы будет использовать термины. Что, кстати, и сделала Ирина Гарт на конференции Форума Доноров: в самом начале сессии она сказала, что в рамках обсуждения под социальным эффектом будут пониматься изменения во внешней среде в результате изменений, созданных проектом или программой.

Специалисты по оценке тоже шутят

Крис Лайси, американский специалист по оценке и визуализации данных, уже много лет рисует карикатуры на тему оценки. И наконец у него появилась карикатура, которую можно перевести на русский!

Как и зачем "собирать урожай" результатов

 

Коллеги с "Фабрики позитивных изменений" внедрили новую практику: подкасты, в которых ведущий обсуждает с автором его статью в журнале "Позитивные изменения". В этом подкасте говорим с Алексеем Хасяновым о моей статье про методику Outcome Harvesting. 

Я обычно говорю о том, что делала на практике. Здесь другой случай: я была на семинаре у Рикардо Вилсон-Грау, автора методики, и на выступлениях зарубежных коллег, которые ее использовали, но сама на практике пока не применяла. Но, несмотря на то, что "попробовать руками" "сбор урожая" у меня пока не получилось, уверена, что она может быть полезной.

Фокус на решении

У меня тут случилось забавное совпадение. Я сейчас делаю оценку большой программы, в рамках которой нужно, в том числе, определить, насколько результаты больших репрезентативных опросов конвертируются в управленческие решения в интересах детей. И получилось, что лучше всего работает механизм, когда лицам, принимающим решения, приносят не общий отчет с цифрами, а делают углубленный анализ собранных данных, выделяют узкие группы детей или семей, которые сталкиваются с какими-то конкретными проблемами, и предлагают варианты решения этих проблем.

Днем написала это в отчете, а вечером встречаюсь со знакомой, и она мне рассказывает про конструктивную журналистику. Это такое относительно новое направление в журналистике, которое опирается на знания из области позитивной психологии и нейронауки. Последняя, например, установила, что, если человек воспринимает мир как полный негатива и проблем, это приводит к хроническому стрессу, который снижает его способность искать решения. И наоборот, фокус на возможных решениях повышает вероятность их использования. Поэтому материалы конструктивной журналистики говорят не только о проблемах, но и о том, как их можно решить.

Получилась такая неожиданная дополнительная триангуляции результатов оценки с результатами научных исследований. Но если взглянуть шире, получается, что, если в ходе оценки обнаруживаешь, что что-то не работает, то, когда пишешь об этом в отчете, имеет смысл сразу же, буквально в следующем абзаце, предложить варианты решения проблемы. Если верить нейронауке, такой фокус на решении должен помочь клиенту принять негативную информацию конструктивно.

Вышла моя статья о методике Outcome Harvesting

В журнале «Позитивные изменения» вышла моя статья про методику Outcome Harvesting, разработанную для оценки программ и проектов. Ее фокус на поиске всех результатов оцениваемого проекта, а не только ожидаемых.

Перевод английских терминов на русский – часто нетривиальная задача. По сути, в данном контексте «harvesting» ближе всего по смыслу к русскому «пожинать плоды». Но «пожинание плодов» как название методики звучит не очень, поэтому в статье я называю ее «сбором урожая» или «жатвой».

В «Позитивных изменениях» рисованные иллюстрации. Мою статью сопроводили картиной, на которой девушки собирают яблоки, я прекрасный юноша задумчиво рассматривает спелый плод. Как-то сразу приходит на ум дерево познания добра и зла. Классный образ для оценки: она как раз для того и делается, чтобы определить, насколько «хорошим» является оцениваемый проект или программа.

«Разбор полетов»: самый простой способ самооценки

На прошлой неделе я была на интересном вебинаре, посвященном After-Action-Review – Анализу после завершения деятельности. По сути, это «разбор полетов», который проводят их непосредственные участники, чтобы научиться на полученном опыте. Изначально подход придумали в 1970-е в американской армии. Затем его начали применять в бизнесе, а с 2010-х его используют и в некоммерческом секторе.

Технологии анализа простая. Команда исполнителей, которая недавно завершила какую-то работу, собирается и обсуждает:

• Каковы были планы и ожидания от этой работы?
• Насколько эти планы и ожидания реализовались на практике?
• Что и почему получилось хорошо?
• Что и как можно было бы сделать лучше?

Главное условие успешного проведения «разбора полетов» - обеспечить возможность высказать свое мнение всем участникам команды исполнителей, невзирая на табель о рангах. Это действительно работает: я использовала похожий подход в своей практике, и во время обсуждения того, как был реализован очередной этап программы, лучшее решение выявленной проблемы предложила ассистент.

На мой взгляд, анализ после завершения деятельности – первый инструмент, который стоит внедрить в свою деятельность организациям, когда они начинают задумываться об использовании оценки. Он простой, практически не требует никаких дополнительных затрат, но очень эффективный. Сессии можно проводить либо по окончании реализации отдельного проекта или мероприятия, либо разделить процесс реализации проекта на ряд этапов, и устраивать обсуждение после окончания каждого этапа.

На вебинаре был представлен адаптированный вариант «разбора полетов». Проект организаторов вебинара работал с фермерами в Эфиопии, и после его окончания сотрудники проекта провели сессии с фермерами-участниками проекта, где попросили их ответить на четыре вопроса, приведенные выше. А полученную таким образом информацию затем использовали при проведении обсуждения проекта членами команды проекта.

2022: знаковые события в сфере оценки в донорских и благотворительных организациях

В начале года коллеги из Форума доноров попросили меня дать комментарии для статьи, над которой они работали. В итоге комментарии в статью не поместились, но я подумала, что они могут быть кому-то интересны.

Меня попросили написать, какие события, связанные с темой мониторинга и оценки в донорских и благотворительных организациях, показались мне знаковыми в 2022 году. Первое, что хочется отметить, - доклад Анны Чечик, директора по развитию Благотворительного фонда «Система», на конференции АСОПП. В 2021 году, на предыдущей конференции, мы обсуждали с Анной, можно ли сделать универсальный набор показателей для оценки благотворительной деятельности и импакт-инвестиций. Я ее убеждала, что это невозможно, и на практике это пока ни у кого не получилось. Анна отвечала, что они все равно попробуют. Поэтому я с большим нетерпением ждала ее выступления на конференции 2022 года.

И оказалось, что БФ «Система» действительно разработал набор – только не показателей, а критериев, которым должен соответствовать импакт-проект. Обязательных критериев всего три:

• Результативность проекта одновременно охватывает и бизнес, и общество и/или окружающую среду,
• Все ожидаемые результаты проекта измеримы и достижимы,
• Проект обладает долгосрочным эффектом (3–5 лет).

Также предлагается два рекомендуемых критерия («Проект учитывает экспертизу компании» и «Проект верифицирован внешними экспертами») и 12 дополнительных. Предлагаемая шкала оценки по каждому из критериев простая: полностью соответствует, частично соответствует, не соответствует.

Результаты исследования БФ «Система» и доклад Анны Чечик для меня являются знаковым событием, потому что у нас в стране применительно к оценке много говорят о показателях, но почти не говорят о критериях. А последние, на мой взгляд, важнее. Раз мы определяем оценку как инструмент для определения ценности проекта, важно иметь определение того, что мы считаем ценным. И эта задача как раз решается с помощью критериев, которые, по сути, представляют собой характеристики ценного проекта.

Второе событие, которое показалось мне интересным и знаковым, - вебинар (и подготовленный на его основе блог) «Получение знаний и оценка, основанные на доверии», который совместно провели проект «Филантропия, основанная на доверии» (Trust-Based Philanthropy Project) и Центр инноваций в оценке (Center for Evaluation Innovation).

Участники обсуждали, как изменить ситуацию, когда доноры делают оценку сверху вниз, фокусируясь на измерении количественных показателей и краткосрочных результатах. Как сделать так, чтобы доноры использовали оценку как инструмент для своего обучения и развития, а не пытались доказывать, что их ограниченные по размеру грантовые программы способны существенно повлиять на решение сложных социальных проблем?

Предлагаемый подход к обучению и оценке, основанных на доверии, фокусируется на трех аспектах взаимодействия доноров и грантополучателей:

• Насколько доноры следуют своим ценностям? Этот вопрос помогает донором осознать свою ответственность перед грантополучателями как партнерами и фокусироваться на возврате на отношения (return on relationship – ROR), а не на инвестиции (return on investment – ROI).
• Насколько доноры поддерживают своих партнеров-грантополучателей в достижении их целей? Этот вопрос помогает донорам совершенствовать свои механизмы принятия решений так, чтобы помогать грантополучателям получать долгосрочные результаты, а также осознать свою роль катализатора формирования устойчивой системы некоммерческих организаций, сотрудничающих ради достижения общих целей.
• Насколько удается добиваться ощутимых изменений по какой-то проблеме или для какого-то сообщества? Обучение и оценка, основанные на доверии, фокусируются на долгосрочных изменениях и понимании того, как социальные изменения происходят на самом деле. Например, корректнее анализировать изменения на отрезках в 5-10 лет, а не от года к году.

Если хотите подробнее узнать о разработке БФ "Система" и оценке, основанной на доверии, вот ссылки на полезные материалы:

• Запись сессии с докладом Анны Чечик на конференции АСОПП: https://www.youtube.com/watch?v=VmI0i-wd-nE (начало доклада на метке 1:08:00)
• Презентация Анны на конференции АСОПП: https://drive.google.com/file/d/1iLu2aJ4ZduB_Eq-P0mbCVtirmoM5xmv9/view
• Гайд для создания и оценки импакт-проектов, разработанный БФ «Система»: https://bf.sistema.ru/upload/iblock/abe/tmvvep8snmgywrkonvn6b24s9rub9i3c/Gai_d-impakt-proekty_final.pdf
• Запись вебинара про оценку, основанную на доверии: https://www.trustbasedphilanthropy.org/resources-articles/2022-1-25-cei-tbp-learning-evaluation
• Блог про оценку, основанную на доверии: https://www.trustbasedphilanthropy.org/blog-1/3-1-toward-trust-based-framework-learning-evaluation

Тирания показателей

Прочитала, наконец, книгу «Тирания показателей: как одержимость цифрами угрожает образованию, здравоохранению, бизнесу и власти» Джерри Мюллера.

Если суммировать содержание, получаются, на мой взгляд, два тезиса:

1. Количественные показатели хорошо работают, если использовать их для внутреннего управления, и обязательно обсуждать внутри команды, что полученные цифры означают в контексте складывающейся ситуации.
2. Количественные показатели не работают, если использовать их как инструмент внешнего управления и привязывать к ним оценку и вознаграждение работы исполнителей. Исполнители быстро придумывают, как получить нужные значения показателей, обычно в ущерб делу.

Маленькая иллюстрация к первому тезису из моей практики. Я делала оценку программы для предпринимателей, целью которой было помочь им увеличить оборот бизнеса как минимум на 25 процентов. Беру интервью у одного из участников – владельца небольшого магазина в торговом центре. И он мне с восторгом рассказывает, какая это замечательная программа.

- А что у вас с оборотом?

- Упал на 10 процентов.

- И вы довольны программой?

- Да. У предпринимателей в соседних магазинах из-за кризиса оборот сократился как минимум на 40 процентов.