День влюбленных в оценку

Несколько лет назад американский специалист по оценке Джон Гаргани предложил отмечать 15 февраля EVALentine’s Day – День влюбленных в оценку.

Почему я люблю оценку проектов и хочу отмечать этот день? Потому что каждая оценка по-своему уникальна. У тебя есть набор инструментов и моделей, и каждый раз нужно решить, какие из них лучше всего подходят в данной ситуации. Но самое классное – это когда заказчик использует результаты проведенной тобой оценки, и ты потом узнаешь, что его проект стал лучше работать.

ЦУР нужна оценка

На недавней конференции Ассоциации специалистов по оценке программ и проектов Форум доноров организовал круглый стол, посвященный Целям устойчивого развития. Один из участников, представитель российского правительства, рассказал, как идет подготовка первого Добровольного национального доклада России о степени достижения ЦУР (и что есть установка показать в нем страну с лучшей стороны).

Такие доклады – главный инструмент анализа странами хода реализации ЦУР, глобальных целей, под которыми все страны мира «подписались» в сентябре 2015 года. Первые добровольные национальные доклады были представлены в 2016 году, и всего в 2016 -2019 годах было представлено 142 таких доклада, причем 15 стран представляли свои доклады уже дважды.

Повестка 2030, в которой сформулированы ЦУР, отмечает, что оценка должна быть одним из инструментов анализа хода реализации ЦУР. Но пока ни один из 142 представленных докладов о проведении подобной оценки и ее результатах не упоминал. Из-за этого, как недавно написал латиноамериканский аналитический центр Cepei, доклады стран «статичны»: они описывают степень достижения ЦУР на момент подготовки доклада, но ничего не говорят о процессах реализации ЦУР и уроках, извлеченных из полученного опыта.

Специалисты Cepei призывают перейти на новый формат докладов по ЦУР – «динамичный», особенно при подготовке вторых и последующих докладов. Такой доклад должен не просто констатировать степень достижения страной ЦУР, но и анализировать процесс этого достижения. «Доклады должны отвечать на вопросы типа «Какого прогресса мы добились с момента представления предыдущего доклада?», «Что получилось, а что нет?», «Почему мы добились (или не добились) успеха в достижении поставленных целей?», «Сможем ли мы реализовать все ЦУР к 2030 году?», «Какие уроки можно вынести из опыта реализации ЦУР в стране?».

И это именно те вопросы, на которые умеет отвечать оценка. Так что, по сути, идея динамичного формата добровольных докладов – очередное напоминание о том, что при анализе реализации ЦУР нужно использовать оценку.

Оценка: что нужно парламентариям

Классическое определение оценки – вынесение суждения о ценности проекта или программы на основании данных, собранных системным образом. Для меня, как практикующего специалиста в области оценки, самым важным в этом определении всегда была часть про сбор данных. Что не удивительно, так как при проведении оценки значительная часть времени и усилий у меня уходит сначала на то, чтобы «сконструировать» процесс сбора данных так, чтобы получить информацию, нужную для ответа на вопросы оценки, а затем на сбор и анализ данных.

Недавно я участвовала во встрече Евразийского регионального форума парламентариев за оценку, который прошел в Бишкеке, Кыргызстан, 6-7 июня. И поняла, что для парламентариев главным в оценке является вынесение суждения о ценности программы или проекта, а откуда и как берутся данные – не столь важно. Например, многие депутаты спрашивали, по каким индикаторам можно оценить работу правительства.

Фокус в том, что, чтобы вынести суждение о ценности проекта в ходе его оценки, которая обычно делается, когда проект уже частично или полностью реализован, критерии оценки должны быть определены еще до того, как проект начали планировать. Это как со штрафами за превышение скорости. Сначала уполномоченные органы принимают решение, что, чтобы движение было безопасным, на данном участке дороге нельзя ехать быстрее, чем, например, 90 км/час. Затем на дороге ставится знак, указывающий максимально допустимую скорость, что уведомить водителей. Плюс есть правила, которые определяют, что будет считаться наказуемым превышением скорости, например, свыше плюс 20 км/час к максимально допустимой скорости. И затем на дороге устанавливают камеры, чтобы измерять скорость движения автомобилей. И если камера фиксирует, что водителей едет со скоростью свыше 110 км/час, ему выписывают штраф.

Получается, что нам, как представителям профессии, нужно не только говорить с депутатами о том, что оценка полезна, потому что она дает лицам, принимающим решения нужную им информацию, но и о том, откуда берутся критерии оценки. Критерии оценки проекта – это, по сути, характеристики «хорошего» проекта. Универсальных критериев не существует, они всегда привязаны к текущей ситуации. Если вернуться к примеру со скоростным режимом, сама идея ограничения скорости как способа обеспечения безопасности на дорогах возникает тогда, когда людям, определяющим политику в стране, важна эта безопасность. И безопасная скорость определяется в зависимости от того, где проходит дорога, и качества дорожного полотна.

И, если речь идет о государственных проектах, логично, чтобы критерии оценки определяли законодатели, конечно, с помощью экспертов в области проектного управления и конкретных тематических областях, потому что именно избранные депутаты парламента представляют общество в целом и, соответственно, выражают, что в данный момент является важным и ценным для этого общества.

Что общего между мостом и руководствами по оценке?

EVAL-ForwARD (www.evalforward.org) – сообщество специалистов по оценке, созданное по инициативе офиса оценки Продовольственной и сельскохозяйственной организации ООН (FAO). Идея была создать платформу для обсуждения оценки проектов в области продовольственной безопасности, сельского хозяйства и сельского развития, но на практике обсуждают больше оценку в целом. Сообщество открытое, но жестко модерируемое. Все письма, которыми обмениваются члены сообщества, переводятся и приходят с текстом на трех языках: английском, французском и испанском.

Меня в EVAL-ForwARD пригласили, потому что я участвовала в оценке нескольких проектов FAO в Центральной Азии. А некоторое время назад модератор предложила мне выбрать тему для обсуждения, инициировать дискуссию среди членов сообщества, и затем подвести ее итоги.

Я решила обсудить проблему, с которой регулярно сталкиваюсь при проведении оценки для агентств ООН. Все внутренние процессы в них жестко регламентированы, и для каждого процесса есть соответствующее руководство. И я регулярно сталкиваюсь с тем, что руководства (методические рекомендации) по планированию и руководства по проведению оценки по-разному трактуют, что такое «output».

В оценке «output» традиционное определяют как непосредственные результаты/продукты действий в рамках проекта, достижение которых в значительной мере зависит исполнителей проекта, то есть находится в зоне их контроля. Соответственно, руководства по оценке для анализа этого уровня результатов рекомендуют вопросы типа: «Насколько своевременно были получены «output»-ы, и как сроки достижения «output»-ов повлияли на достижение нужных проекту изменений в жизни благополучателей проекта?». (Изменения в жизни благополучателей принято называть «outcome».)

Понятия «output» и «outcome», у которых, к сожалению, нет прямых эквивалентов в русском языке, сформировались в те времена, когда проекты международных организаций в основном что-то строили: дороги, колодцы, школы и т.п. Поэтому разделить результаты на «output» и «outcome» было несложно: дорога – это «output», а то, как ее используют местные жители – «outcome».

Но если проект дает участникам какие-то знания и навыки, разделить результаты на «output» и «outcome» уже сложнее. Исполнители проекта в значительной степени контролируют подготовку и публикацию учебных пособий для благополучателей, сроки проведения учебных мероприятий, а также количество и состав их участников. Понятно, что участники должны приобрести какие-то знания и навыки, используя которые они затем должны изменить свою жизнь в нужную проекту сторону. Если следовать классическому определению «output», то «output»-ами такого проекта следовало бы считать подготовленные учебные пособия, проведенные мероприятия и обученных людей. Но руководства по планированию предписывают описывать «output» как изменения в том, какими знаниями и навыками обладают участники проекта.

В результате, если менеджеры начинают использовать руководства механически, ты как внешний консультант по оценке получаешь Техническое задание с вопросом «Насколько своевременно были получены «output»-ы?», а при изучении проектной документации выясняется, что в рамках проекта для одних и тех же участников регулярно проводили семинары, которые в совокупности должны были обеспечить достижение такого «output» как «рост лидерских качеств участников», благодаря чему они должны были стать лидерами в своих сообществах (это уже формулировка «outcome»). В принципе, такой вопрос мог бы иметь смысл, если бы проект готовил участников, например, к участию в местных выборах. Но в данном случае такого не было. И хотя руководство по оценке говорит, что вопросы можно корректировать на этапе разработки методологии оценки, мне сказали, что раз в руководстве по оценке приведена такая формулировка вопроса, пусть и в качестве примера, значит, на такой вопрос и нужно отвечать.

В этом случае мне удалось договориться с менеджерами, которые управляли оценкой, что результаты можно представить не по отдельным вопросам, как это принято, а шире - по критериям оценки. А формулировки вопросов мы оставили как есть.

И вот на EVAL-ForwARD я предложила коллегам поделиться, сталкивались ли они с подобными ситуациями в своей практике, и как из них выходили. Дискуссия получилось оживленной, в ней приняли участие одиннадцать человек. Один из выводов, который можно сделать по итогам: когда задача заказа оценки делегируется на уровень проекта, лучше дать менеджерам проекта не руководство по проведению оценки, а возможность поработать несколько дней со специалистом по оценке, чтобы спокойно обсудить структуру ожидаемых результатов проекта и сформулировать адекватные вопросы оценки.

В ходе обсуждения меня зацепила одна из историй, которыми поделились коллеги. В богатой скандинавской стране построили мост через пролив, отделявший небольшой остров, чтобы жители острова могли добираться до работы на материке не на пароме, а на своих авто. Но когда мост был готов, люди перевезли по нему свое имущество в дома и квартиры на материке рядом с работой, а дома на острове стали использовать как дачи.

Коллега поделился этой истории, когда дискуссия на EVAL-ForwARD свернула на то, что проектные менеджеры не только не понимают разницы между «output» и «outcome», но и спланировать проект нормально не могут, и история с мостом должна была проиллюстрировать данную мысль.  Но мне показалось, что еще лучше она иллюстрирует то, что происходит с руководствами по оценке.

Руководство по проведению оценки призвано быть мостом между проектным менеджером, который должен заказать оценку и управлять ее проведением, и специалистами в области оценки, которых нанимают эту оценку проводить. Руководство должно дать менеджеру всю информацию, которая ему потребуется в процессе управления оценкой, чтобы он выполнял эту работу осознанно и уверенно. Для разработки руководств приглашают опытных специалистов по оценке, которые подробно описывают, что нужно делать на каждом этапе. Но в результате для неспециалистов в области оценки руководства оказываются слишком сложными, и менеджеры часто пользуются ими формально – в основном для подготовки Техзаданий методом копи-паста, и потом отказываются обсуждать с внешними консультантами любые изменения. Кстати, с точки зрения оптимизации затрат сил и времени – это оптимальное решение.

И я вот думаю: в случае с мостом оценку результатов проекта, похоже, сделали. Делал ли кто-то оценку того, как используются руководства по проведению оценки?

Мой пост в блоге EVAL-ForwARD (на английском): https://www.evalforward.org/blog/eval-forward-community-really-output

Как измерить Валовое национальное счастье

20 марта отмечают Международный день счастья. Он был учрежден решением Генеральной Ассамблеи ООН в 2012. В том же году на базе ООН прошел пленум «Благосостояние и счастье как новая экономическая парадигма».

Одним из инициаторов учреждения Дня счастья было Королевство Бутан, небольшая страна в отрогах Гималаев. Я была в Бутане в 2017 году на конференции по оценке, которую организовала Ассоциация специалистов по оценке Южной Азии в партнерстве с Ассоциацией оценки Бутана и правительством в лице Комиссии по Валовому национальному счастью. Одна из сессий на конференции была посвящена тому, как в Бутане измеряют валовое национальное счастье.

Оказалось, что в Бутане с давних пор считают, что правительство должно отвечать за счастье граждан. «Правительство, которое не может сделать народ счастливым, не имеет права на существование», - было написано в Своде законов Бутана 1729 года. Уже в наши дни король Бутана в одном из своих выступлений заявил, что «Валовое национальное счастье важнее, чем Валовый национальный продукт». А в современной конституции страны сказано, что «государство должно стремиться создать условия, необходимые для создания Валового национального счастья».

Правительство Бутана считает, что счастье – это результат наличия благоприятных условий в девяти сферах жизни человека, и, соответственно, государство должно эти условия создавать и улучшать. Сферы включают:

• Психологическое благополучие;
• Здоровье;
• Баланс в использовании времени;
• Образование;
• Культурные разнообразие и устойчивость;
• Качественное госуправление;
• Стабильность местных сообществ;
• Экологические разнообразие и устойчивость;
• Качество жизни.

Положение дел в этих сферах измеряют с помощью опроса. Результаты затем используют при формировании национальных пятилетних планов.

В анкете, которая использовалась для опроса в 2015 году, было 148 вопросов. Например, в блоке, посвященном психологическому благосостоянию, людей спрашивают, насколько они удовлетворены жизнью в целом, а также отношениями с членами семьи, уровнем жизни, работой и балансом между работой и частной жизнь – по шкале от 0 до 10. В блоке, посвященном здоровью, людей, например, просят оценить, насколько здоровыми они себя чувствуют; ответить, есть ли у них тот или иной вид ограничений по здоровью, и сколько времени им нужно, чтобы добраться до ближайшего медицинского учреждения. В блоке, посвященном использованию времени, вопросы касаются, например, того, сколько времени человек посвящает сну, молитве, приготовлению пищи и т.п. В блоке, посвященному устойчивости сообществ, людей спрашивают, как давно они живут в своем населенном пункте, жертвуют ли они время и деньги на нужды сообщества, и насколько они доверяют соседям.

У меня есть отчет Комиссии по Валовому национальному счастью о положении дел в стране по результатам опроса, проведенного в 2015. Читать, как правительство с гордостью рапортует, например, что граждане стали спать на 15 минут в день больше (528 минут в 2015 году по сравнению с 513 минутами в 2010), немного странно, но понимаешь при этом, что для правительства Бутана гражданин не производительная единица, а живой человек.

Интересно, что счастье, которое должно создавать государство, и субъективное ощущение счастья человеком, - в Бутане не одно и тоже. В рамках опроса людей спрашивают, насколько счастливыми они себя ощущают: сегодня, вчера, за последний год, - но эти ответы не являются решающими, при определении уровня счастья. Так что счастье по-бутански, по сути, ближе к качеству жизни.

На основании заполненной анкеты для человека рассчитывают 33 показателя, описывающих качество его жизни в девяти сферах. Если по двум третям этих показателей человек достигает уровня «достаточного качества», его считают счастливым. И затем рассчитывают Индекс Валового национального счастья – как сумму доли людей, которые считаются счастливыми, плюс доля тех, кто еще не достиг счастья, помноженная на средний процент индикаторов, по которым у таких людей достигнут уровень «достаточного качества».

Оценка vs аудит эффективности

Я на волонтерских началах веду страницу Глобального движения парламентариев за использование оценки в госуправлении, поэтому регулярно отслеживаю, кто и как использует оценку в госсекторе. На днях с удивлением обнаружила, что Счетные палаты тоже делают оценку, а не только аудит эффективности.

Оказалось, что в рамках Международной организации высших органов аудита (INTOSAI), членами которой являются Счетные палаты 194 стран мира – включая Россию, с 1992 года действует Рабочая группа по оценке программ. Сейчас в нее входят Счетные палаты 22 стран. В 2016 году группа опубликовала «Руководство по оценке государственных политик». В этом документе очень изящно разведены понятия оценки и аудита эффективности.

Согласно стандарта Международной организации высших органов аудита ISSAI 300 «Основополагающие принципа аудита эффективности», данный вид аудита представляет собой независимую, объективную и достоверную проверку деятельности правительства на предмет ее соответствия принципам (критериям) экономичности, эффективности и результативности. Принцип экономичности требует минимизации затрат: используемые ресурсы должна приобретаться по лучшей цени и поставляться в нужное время, в нужно объеме и нужного качества. Принцип эффективности относится к отношению непосредственных результатов работы правительства к понесенным затратам и требует максимальной отдачи от использования ресурсов. Принцип результативности предполагает достижение запланированных результатов.

«Руководство по оценке государственных политик» признает, что при проведении оценки политик также используют критерии экономичности, эффективности и результативности. Но, согласно «Руководству», оценка смотрит на оцениваемую политику (или программу) шире. При проведении оценки используются еще два критерия: соответствие потребностям целевых групп политики (программы) и, главное, общая полезность политики с учетом ее запланированных и незапланированных результатов, причем как непосредственных, так и опосредованных. То есть критерий «полезности» (utility) по сути совпадает с критерием «влияния/социального воздействия» (impact), который обычно используют при проведении оценки, но слово «полезность» мне нравится больше.

Помимо описания соотношения между аудитом эффективности и оценкой, в «Руководстве» есть еще несколько интересных моментов:

• Результаты политики нужно измерять с помощью как количественных, так и качественных показателей.
• Измерять нужно не только «объективные» результаты, но и «субъективные», то есть, по сути, нужно учитывать мнение различных заинтересованных сторон, затрагиваемых оцениваемой политикой.
• Оценка должна отслеживать цепочки результатов/изменений, инициируемый применением политики.
• При проведении оценки политик Счетные палаты (и подрядчики, которым они могут заказывать проведение оценки) должны активно сотрудничать с широким кругом заинтересованных сторон – вплоть до совместного принятия решений о методологии оценки.

Дерево вопросов

Начинаю очередную оценку для одного из агентств ООН. По правилам агентства, при проведении оценки создают консультативную группу, в которую входят представители национальных государственных и негосударственных структур, имеющих отношение к оцениваемому проекту или программе. Члены группы должны быть хорошо знакомы с местной ситуаций и программой, и могут помочь внешним специалистам по оценке выбрать все нужные источники информации и потом корректно интерпретировать собранные данные и выработать полезные рекомендации. Поэтому членов группы просят изучить и дать обратную связь на Техническое задание (ТЗ) на проведении оценки, на документ, описывающий методологию проведения оценки, и, наконец, на отчет о результатах оценки.

Идея хорошая, но на практике возникают проблемы, потому что оценка – это отдельная профессиональная область со своей терминологией, с которой члены консультативной группы часто сталкиваются в первый раз. И вот они с ходу получают ТЗ, в котором описаны цели оценки, критерии оценки, вопросы оценки, к которым на следующем этапе добавляются еще и оцениваемые допущения. И времени на прямое общение с членами консультативной группы специалистам по оценка дают минимум. Поэтому я каждый раз пытаюсь придумать, как быстро объяснить людям, что все, что написано в ТЗ, не куча-мала из слов, а стройная конструкция, описывающая механизм проведения оценки. В этот раз я придумала, что можно говорить о «дереве вопросов оценки».

Уверена, многие знакомы с таким инструментом проектного менеджмента, как дерево целей или задач. Есть шутка: «Может ли человек съесть слона? – Может, но по кусочкам».  Дерево целей как раз это и делает: последовательно делит одну большую и сложную задачу на множество небольших. Число уровней в таком дереве в принципе не ограничено, хотя литература по проектному менеджменту рекомендует не делать больше двадцати уровней.

Оценку проекта также можно рассматривать как проект. В моем случае общей целью данного проекта является «обеспечить подотчетность», «вынести уроки из полученного опыта и дать рекомендации на будущее». «Обеспечить подотчетность» - это подстрочный перевод английского словосочетания, которое означает, что оценка должна проверить, в какой степени реализация оцениваемой программы соответствовала правилам, принятым в агентстве. Соответственно, эту цель оценки можно сформулировать в виде вопроса: «Насколько реализация программы соответствовала внутренним правилам агентства?»

А внутренние правила говорят, что программы агентства должны соответствовать потребностям стран, где агентство работает, и стратегии самого агентства, отсюда критерий «relevance - релевантность», который на русский обычно переводят как «актуальность». Кроме того, программы должны достигать запланированных результатов (результативность), эффективно используя имеющиеся ресурсы (экономическая эффективность). А реализующий программы страновой офис должен обеспечить сохранение положительных эффектов, полученных благодаря программе и после ее окончания (устойчивость), и активно координировать свою работу с другими агентствами ООН, работающими в стране (скоординированность работы в рамках становой команды). Соответственно, критерии оценки также переводятся в вопросы: «Насколько актуальной была программа?», «Насколько результативной была программа?» и т.д.

На следующем уровне детализации вопросы появляются уже в явном виде. Например, под критерием «актуальность» в ТЗ могут быть вопросы типа «Насколько программа соответствовала стратегическим планам агентства?», «Насколько программа соответствовала потребностям целевых групп?» и т.п. А под критерием «результативность» - «Насколько своевременно были реализованы запланированные мероприятия программы?», «В какой степени реализованные мероприятия способствовали достижению запланированных результатов программы?» и т.д.

В моем случае на этапе дизайна оценки нужно проводить дальнейшую детализацию, потому что программа работала одновременно в нескольких тематических областях. В агентстве этот уровень называют «оцениваемыми допущениями». Допущение – это, по сути, описание, как в том или ином аспекте должна была работать программа или ее исполнители. И для каждого вопроса оценки нужно определить набор соответствующих допущений. И затем для каждого допущения нужно определить источники и методы сбора и анализа информации. Например, для вопроса «Насколько своевременно были реализованы запланированные мероприятия программы?» целесообразно сформулировать допущения, что «Были своевременно реализованы запланированные мероприятия в тематической области А», «Были своевременно реализованы запланированные мероприятия в тематической области В», и т.п. Но все эти допущения можно представить и в виде вопросов, например, «Насколько своевременно были реализованы запланированные мероприятия в тематической области А?». Кстати, в другом агентстве это уровень детализации называют «уточняющими вопросам».

Таким образом, первый этап оценки можно рассматривать как построение «дерева вопросов», когда от общих вопросов переходят в более конкретным, чтобы затем можно было корректно – и понятно для неспециалистов - разработать методологию оценки.

Пример Дерева вопросов оценки.