Умный и еще умнее

Наверняка многие знакомы с моделью SMART-результатов. SMART – это аббревиатура, составленная из первых букв английских названий критериев, которым должны соответствовать результаты планируемого проекта или программы. При этом само слово SMART означает «умный», так что SMART модель результатов – это модель умных результатов.

Но, как всегда, нет предела совершенству. В свежем руководстве по управлению, направленному на достижение результатов, выпущенном Детским фондом ООН, предложена модель SMARTER – то есть, более умных – результатов. Она опять описывает критерии, которым должны соответствовать результаты. Интересно, что в нее не просто добавили два новых критерия, но и обновили почти все критерии в SMART-части. Из «старых» критериев остался только Measurable – Измеримые.

Таблица. Критерии для SMART и SMARTER результатов

S	Specific - Конкретные	Strategic – Стратегические: определены с учетом сравнительных преимуществ организации, которая реализует проект, и его контекста
M	Measurable - Измеримые	Measurable – Измеримые: существуют методы и подходы для измерения результатов.
A	Achievable - Достижимые	Aligned – Согласованные с национальными приоритетами и приоритетами партнеров.
R	Relevant – Соответствующие характеру проекта	Realistic – Реалистичные: результаты должны быть достижимы при том уровне ресурсов и усилий, которые запланированы в рамках проекта.
T	Time-bound – Имеющие временную привязку	Transformative – Трансформирующие: достижение результатов проекта должно способствовать системной трансформации.
E	-	Empowering – Вдохновляющие: должно быть ясно, что изменения, создаваемые проектов, будут позитивными.
R	-	Reportable – Описываемые: должна быть понятна связь между предпринимаемыми действиями и результатами всей уровней.

  

Трудности перевода, или приключения термина "импакт" в России

Недавно я была на сессии по оценке на конференции Форума Доноров. Говорили про то, как оценка помогает накапливать знания. Но меня зацепил рассказ Ирины Гарт, как они с Тимуром Гаджиджараевым из Ассоциации благотворительных организаций «Друзья милосердия» перед тем, как рассказать об оценке членам ассоциации на мероприятии на Северном Кавказе, обсуждали, как перевести на русский англоязычные термины. И решили заменить «импакт» на «преобразование».

Импакт (impact) – термин многострадальный, причем как в англоязычном профессиональном сообществе, так и в смысле его перевода на русский язык. Одной из первых термин «impact» стала использовать как элемент описания логики проекта американская грантодающая организация United Way. Она давали гранты на небольшие проекты, реализуемые местными сообществами, например, на строительство детских площадок, и хотелось, чтобы грантополучатели задумывались не только о своих действиях, но и о развитии своих сообществ. Например, вы оборудуете место для досуга подростков. В результате эти подростки меньше праздно шатаются по улицам, что, в свою очередь, снижает риск, что они сделают что-то антиобщественное, и, в итоге, жизнь в сообществе становится более спокойной. Английскими словами эта цепочка изменений описывалась как «output» - результат, который вы сделали своим руками, «outcome» - изменение, которое произошло дальше уже без вашего непосредственного участия, и «impact» - изменения в сообществе в итоге запущенной вами цепочки изменений.

Модель эта получила широкое распространение. Но хорошо работает только для проектов, когда вы что-то строите: детские площадки, дороги или школы. Как только проект, например, начинает людей обучать, сразу становится сложно определить, что вы «сделали своими руками» - «output»: то, что человек прошел обучение, или те знания, которые он получил.

Параллельно в сфере оценки термин «impact» использовался и в другом значении: как разница в значении какого-то заранее выбранного показателя при наличии и отсутствии проектного воздействия. И показатели обычно выбирали на уровне результатов, которые в описанной выше модели назвали бы «output». Это значение термина «impact» стали использовать, в том числе, в сфере импакт-инвестиций.

К нам оценка пришла в 1990-е с международными донорскими программами, которые использовали модель описания результатов по схеме «output» - «outcome» - «impact». Точных эквивалентов в русском языке нет, поэтому у нас эту модель как только не переводили: краткосрочные – среднесрочные – долгосрочные результаты, непосредственные результаты – промежуточные результаты – влияние (воздействие) проекта, непосредственные результаты – социальные результаты – социальный эффект. С приходом идей импакт-инвестиций появились термины «воздействие» и «импакт» - как перевод и просто написание термина «impact» русскими буквами в его значении, принятом в этой сфере. И вот теперь еще один вариант – «преобразование».

Похоже, нам теперь любое профессиональное обсуждение нужно будет начинать с договоренности о том, в каком значении мы будет использовать термины. Что, кстати, и сделала Ирина Гарт на конференции Форума Доноров: в самом начале сессии она сказала, что в рамках обсуждения под социальным эффектом будут пониматься изменения во внешней среде в результате изменений, созданных проектом или программой.

Специалисты по оценке тоже шутят

Крис Лайси, американский специалист по оценке и визуализации данных, уже много лет рисует карикатуры на тему оценки. И наконец у него появилась карикатура, которую можно перевести на русский!

Как и зачем "собирать урожай" результатов

 

Коллеги с "Фабрики позитивных изменений" внедрили новую практику: подкасты, в которых ведущий обсуждает с автором его статью в журнале "Позитивные изменения". В этом подкасте говорим с Алексеем Хасяновым о моей статье про методику Outcome Harvesting. 

Я обычно говорю о том, что делала на практике. Здесь другой случай: я была на семинаре у Рикардо Вилсон-Грау, автора методики, и на выступлениях зарубежных коллег, которые ее использовали, но сама на практике пока не применяла. Но, несмотря на то, что "попробовать руками" "сбор урожая" у меня пока не получилось, уверена, что она может быть полезной.

Фокус на решении

У меня тут случилось забавное совпадение. Я сейчас делаю оценку большой программы, в рамках которой нужно, в том числе, определить, насколько результаты больших репрезентативных опросов конвертируются в управленческие решения в интересах детей. И получилось, что лучше всего работает механизм, когда лицам, принимающим решения, приносят не общий отчет с цифрами, а делают углубленный анализ собранных данных, выделяют узкие группы детей или семей, которые сталкиваются с какими-то конкретными проблемами, и предлагают варианты решения этих проблем.

Днем написала это в отчете, а вечером встречаюсь со знакомой, и она мне рассказывает про конструктивную журналистику. Это такое относительно новое направление в журналистике, которое опирается на знания из области позитивной психологии и нейронауки. Последняя, например, установила, что, если человек воспринимает мир как полный негатива и проблем, это приводит к хроническому стрессу, который снижает его способность искать решения. И наоборот, фокус на возможных решениях повышает вероятность их использования. Поэтому материалы конструктивной журналистики говорят не только о проблемах, но и о том, как их можно решить.

Получилась такая неожиданная дополнительная триангуляции результатов оценки с результатами научных исследований. Но если взглянуть шире, получается, что, если в ходе оценки обнаруживаешь, что что-то не работает, то, когда пишешь об этом в отчете, имеет смысл сразу же, буквально в следующем абзаце, предложить варианты решения проблемы. Если верить нейронауке, такой фокус на решении должен помочь клиенту принять негативную информацию конструктивно.

Вышла моя статья о методике Outcome Harvesting

В журнале «Позитивные изменения» вышла моя статья про методику Outcome Harvesting, разработанную для оценки программ и проектов. Ее фокус на поиске всех результатов оцениваемого проекта, а не только ожидаемых.

Перевод английских терминов на русский – часто нетривиальная задача. По сути, в данном контексте «harvesting» ближе всего по смыслу к русскому «пожинать плоды». Но «пожинание плодов» как название методики звучит не очень, поэтому в статье я называю ее «сбором урожая» или «жатвой».

В «Позитивных изменениях» рисованные иллюстрации. Мою статью сопроводили картиной, на которой девушки собирают яблоки, я прекрасный юноша задумчиво рассматривает спелый плод. Как-то сразу приходит на ум дерево познания добра и зла. Классный образ для оценки: она как раз для того и делается, чтобы определить, насколько «хорошим» является оцениваемый проект или программа.

«Разбор полетов»: самый простой способ самооценки

На прошлой неделе я была на интересном вебинаре, посвященном After-Action-Review – Анализу после завершения деятельности. По сути, это «разбор полетов», который проводят их непосредственные участники, чтобы научиться на полученном опыте. Изначально подход придумали в 1970-е в американской армии. Затем его начали применять в бизнесе, а с 2010-х его используют и в некоммерческом секторе.

Технологии анализа простая. Команда исполнителей, которая недавно завершила какую-то работу, собирается и обсуждает:

• Каковы были планы и ожидания от этой работы?
• Насколько эти планы и ожидания реализовались на практике?
• Что и почему получилось хорошо?
• Что и как можно было бы сделать лучше?

Главное условие успешного проведения «разбора полетов» - обеспечить возможность высказать свое мнение всем участникам команды исполнителей, невзирая на табель о рангах. Это действительно работает: я использовала похожий подход в своей практике, и во время обсуждения того, как был реализован очередной этап программы, лучшее решение выявленной проблемы предложила ассистент.

На мой взгляд, анализ после завершения деятельности – первый инструмент, который стоит внедрить в свою деятельность организациям, когда они начинают задумываться об использовании оценки. Он простой, практически не требует никаких дополнительных затрат, но очень эффективный. Сессии можно проводить либо по окончании реализации отдельного проекта или мероприятия, либо разделить процесс реализации проекта на ряд этапов, и устраивать обсуждение после окончания каждого этапа.

На вебинаре был представлен адаптированный вариант «разбора полетов». Проект организаторов вебинара работал с фермерами в Эфиопии, и после его окончания сотрудники проекта провели сессии с фермерами-участниками проекта, где попросили их ответить на четыре вопроса, приведенные выше. А полученную таким образом информацию затем использовали при проведении обсуждения проекта членами команды проекта.