ЦУР нужна оценка

На недавней конференции Ассоциации специалистов по оценке программ и проектов Форум доноров организовал круглый стол, посвященный Целям устойчивого развития. Один из участников, представитель российского правительства, рассказал, как идет подготовка первого Добровольного национального доклада России о степени достижения ЦУР (и что есть установка показать в нем страну с лучшей стороны).

Такие доклады – главный инструмент анализа странами хода реализации ЦУР, глобальных целей, под которыми все страны мира «подписались» в сентябре 2015 года. Первые добровольные национальные доклады были представлены в 2016 году, и всего в 2016 -2019 годах было представлено 142 таких доклада, причем 15 стран представляли свои доклады уже дважды.

Повестка 2030, в которой сформулированы ЦУР, отмечает, что оценка должна быть одним из инструментов анализа хода реализации ЦУР. Но пока ни один из 142 представленных докладов о проведении подобной оценки и ее результатах не упоминал. Из-за этого, как недавно написал латиноамериканский аналитический центр Cepei, доклады стран «статичны»: они описывают степень достижения ЦУР на момент подготовки доклада, но ничего не говорят о процессах реализации ЦУР и уроках, извлеченных из полученного опыта.

Специалисты Cepei призывают перейти на новый формат докладов по ЦУР – «динамичный», особенно при подготовке вторых и последующих докладов. Такой доклад должен не просто констатировать степень достижения страной ЦУР, но и анализировать процесс этого достижения. «Доклады должны отвечать на вопросы типа «Какого прогресса мы добились с момента представления предыдущего доклада?», «Что получилось, а что нет?», «Почему мы добились (или не добились) успеха в достижении поставленных целей?», «Сможем ли мы реализовать все ЦУР к 2030 году?», «Какие уроки можно вынести из опыта реализации ЦУР в стране?».

И это именно те вопросы, на которые умеет отвечать оценка. Так что, по сути, идея динамичного формата добровольных докладов – очередное напоминание о том, что при анализе реализации ЦУР нужно использовать оценку.

Оценка: что нужно парламентариям

Классическое определение оценки – вынесение суждения о ценности проекта или программы на основании данных, собранных системным образом. Для меня, как практикующего специалиста в области оценки, самым важным в этом определении всегда была часть про сбор данных. Что не удивительно, так как при проведении оценки значительная часть времени и усилий у меня уходит сначала на то, чтобы «сконструировать» процесс сбора данных так, чтобы получить информацию, нужную для ответа на вопросы оценки, а затем на сбор и анализ данных.

Недавно я участвовала во встрече Евразийского регионального форума парламентариев за оценку, который прошел в Бишкеке, Кыргызстан, 6-7 июня. И поняла, что для парламентариев главным в оценке является вынесение суждения о ценности программы или проекта, а откуда и как берутся данные – не столь важно. Например, многие депутаты спрашивали, по каким индикаторам можно оценить работу правительства.

Фокус в том, что, чтобы вынести суждение о ценности проекта в ходе его оценки, которая обычно делается, когда проект уже частично или полностью реализован, критерии оценки должны быть определены еще до того, как проект начали планировать. Это как со штрафами за превышение скорости. Сначала уполномоченные органы принимают решение, что, чтобы движение было безопасным, на данном участке дороге нельзя ехать быстрее, чем, например, 90 км/час. Затем на дороге ставится знак, указывающий максимально допустимую скорость, что уведомить водителей. Плюс есть правила, которые определяют, что будет считаться наказуемым превышением скорости, например, свыше плюс 20 км/час к максимально допустимой скорости. И затем на дороге устанавливают камеры, чтобы измерять скорость движения автомобилей. И если камера фиксирует, что водителей едет со скоростью свыше 110 км/час, ему выписывают штраф.

Получается, что нам, как представителям профессии, нужно не только говорить с депутатами о том, что оценка полезна, потому что она дает лицам, принимающим решения нужную им информацию, но и о том, откуда берутся критерии оценки. Критерии оценки проекта – это, по сути, характеристики «хорошего» проекта. Универсальных критериев не существует, они всегда привязаны к текущей ситуации. Если вернуться к примеру со скоростным режимом, сама идея ограничения скорости как способа обеспечения безопасности на дорогах возникает тогда, когда людям, определяющим политику в стране, важна эта безопасность. И безопасная скорость определяется в зависимости от того, где проходит дорога, и качества дорожного полотна.

И, если речь идет о государственных проектах, логично, чтобы критерии оценки определяли законодатели, конечно, с помощью экспертов в области проектного управления и конкретных тематических областях, потому что именно избранные депутаты парламента представляют общество в целом и, соответственно, выражают, что в данный момент является важным и ценным для этого общества.

Что общего между мостом и руководствами по оценке?

EVAL-ForwARD (www.evalforward.org) – сообщество специалистов по оценке, созданное по инициативе офиса оценки Продовольственной и сельскохозяйственной организации ООН (FAO). Идея была создать платформу для обсуждения оценки проектов в области продовольственной безопасности, сельского хозяйства и сельского развития, но на практике обсуждают больше оценку в целом. Сообщество открытое, но жестко модерируемое. Все письма, которыми обмениваются члены сообщества, переводятся и приходят с текстом на трех языках: английском, французском и испанском.

Меня в EVAL-ForwARD пригласили, потому что я участвовала в оценке нескольких проектов FAO в Центральной Азии. А некоторое время назад модератор предложила мне выбрать тему для обсуждения, инициировать дискуссию среди членов сообщества, и затем подвести ее итоги.

Я решила обсудить проблему, с которой регулярно сталкиваюсь при проведении оценки для агентств ООН. Все внутренние процессы в них жестко регламентированы, и для каждого процесса есть соответствующее руководство. И я регулярно сталкиваюсь с тем, что руководства (методические рекомендации) по планированию и руководства по проведению оценки по-разному трактуют, что такое «output».

В оценке «output» традиционное определяют как непосредственные результаты/продукты действий в рамках проекта, достижение которых в значительной мере зависит исполнителей проекта, то есть находится в зоне их контроля. Соответственно, руководства по оценке для анализа этого уровня результатов рекомендуют вопросы типа: «Насколько своевременно были получены «output»-ы, и как сроки достижения «output»-ов повлияли на достижение нужных проекту изменений в жизни благополучателей проекта?». (Изменения в жизни благополучателей принято называть «outcome».)

Понятия «output» и «outcome», у которых, к сожалению, нет прямых эквивалентов в русском языке, сформировались в те времена, когда проекты международных организаций в основном что-то строили: дороги, колодцы, школы и т.п. Поэтому разделить результаты на «output» и «outcome» было несложно: дорога – это «output», а то, как ее используют местные жители – «outcome».

Но если проект дает участникам какие-то знания и навыки, разделить результаты на «output» и «outcome» уже сложнее. Исполнители проекта в значительной степени контролируют подготовку и публикацию учебных пособий для благополучателей, сроки проведения учебных мероприятий, а также количество и состав их участников. Понятно, что участники должны приобрести какие-то знания и навыки, используя которые они затем должны изменить свою жизнь в нужную проекту сторону. Если следовать классическому определению «output», то «output»-ами такого проекта следовало бы считать подготовленные учебные пособия, проведенные мероприятия и обученных людей. Но руководства по планированию предписывают описывать «output» как изменения в том, какими знаниями и навыками обладают участники проекта.

В результате, если менеджеры начинают использовать руководства механически, ты как внешний консультант по оценке получаешь Техническое задание с вопросом «Насколько своевременно были получены «output»-ы?», а при изучении проектной документации выясняется, что в рамках проекта для одних и тех же участников регулярно проводили семинары, которые в совокупности должны были обеспечить достижение такого «output» как «рост лидерских качеств участников», благодаря чему они должны были стать лидерами в своих сообществах (это уже формулировка «outcome»). В принципе, такой вопрос мог бы иметь смысл, если бы проект готовил участников, например, к участию в местных выборах. Но в данном случае такого не было. И хотя руководство по оценке говорит, что вопросы можно корректировать на этапе разработки методологии оценки, мне сказали, что раз в руководстве по оценке приведена такая формулировка вопроса, пусть и в качестве примера, значит, на такой вопрос и нужно отвечать.

В этом случае мне удалось договориться с менеджерами, которые управляли оценкой, что результаты можно представить не по отдельным вопросам, как это принято, а шире - по критериям оценки. А формулировки вопросов мы оставили как есть.

И вот на EVAL-ForwARD я предложила коллегам поделиться, сталкивались ли они с подобными ситуациями в своей практике, и как из них выходили. Дискуссия получилось оживленной, в ней приняли участие одиннадцать человек. Один из выводов, который можно сделать по итогам: когда задача заказа оценки делегируется на уровень проекта, лучше дать менеджерам проекта не руководство по проведению оценки, а возможность поработать несколько дней со специалистом по оценке, чтобы спокойно обсудить структуру ожидаемых результатов проекта и сформулировать адекватные вопросы оценки.

В ходе обсуждения меня зацепила одна из историй, которыми поделились коллеги. В богатой скандинавской стране построили мост через пролив, отделявший небольшой остров, чтобы жители острова могли добираться до работы на материке не на пароме, а на своих авто. Но когда мост был готов, люди перевезли по нему свое имущество в дома и квартиры на материке рядом с работой, а дома на острове стали использовать как дачи.

Коллега поделился этой истории, когда дискуссия на EVAL-ForwARD свернула на то, что проектные менеджеры не только не понимают разницы между «output» и «outcome», но и спланировать проект нормально не могут, и история с мостом должна была проиллюстрировать данную мысль.  Но мне показалось, что еще лучше она иллюстрирует то, что происходит с руководствами по оценке.

Руководство по проведению оценки призвано быть мостом между проектным менеджером, который должен заказать оценку и управлять ее проведением, и специалистами в области оценки, которых нанимают эту оценку проводить. Руководство должно дать менеджеру всю информацию, которая ему потребуется в процессе управления оценкой, чтобы он выполнял эту работу осознанно и уверенно. Для разработки руководств приглашают опытных специалистов по оценке, которые подробно описывают, что нужно делать на каждом этапе. Но в результате для неспециалистов в области оценки руководства оказываются слишком сложными, и менеджеры часто пользуются ими формально – в основном для подготовки Техзаданий методом копи-паста, и потом отказываются обсуждать с внешними консультантами любые изменения. Кстати, с точки зрения оптимизации затрат сил и времени – это оптимальное решение.

И я вот думаю: в случае с мостом оценку результатов проекта, похоже, сделали. Делал ли кто-то оценку того, как используются руководства по проведению оценки?

Мой пост в блоге EVAL-ForwARD (на английском): https://www.evalforward.org/blog/eval-forward-community-really-output

Как измерить Валовое национальное счастье

20 марта отмечают Международный день счастья. Он был учрежден решением Генеральной Ассамблеи ООН в 2012. В том же году на базе ООН прошел пленум «Благосостояние и счастье как новая экономическая парадигма».

Одним из инициаторов учреждения Дня счастья было Королевство Бутан, небольшая страна в отрогах Гималаев. Я была в Бутане в 2017 году на конференции по оценке, которую организовала Ассоциация специалистов по оценке Южной Азии в партнерстве с Ассоциацией оценки Бутана и правительством в лице Комиссии по Валовому национальному счастью. Одна из сессий на конференции была посвящена тому, как в Бутане измеряют валовое национальное счастье.

Оказалось, что в Бутане с давних пор считают, что правительство должно отвечать за счастье граждан. «Правительство, которое не может сделать народ счастливым, не имеет права на существование», - было написано в Своде законов Бутана 1729 года. Уже в наши дни король Бутана в одном из своих выступлений заявил, что «Валовое национальное счастье важнее, чем Валовый национальный продукт». А в современной конституции страны сказано, что «государство должно стремиться создать условия, необходимые для создания Валового национального счастья».

Правительство Бутана считает, что счастье – это результат наличия благоприятных условий в девяти сферах жизни человека, и, соответственно, государство должно эти условия создавать и улучшать. Сферы включают:

• Психологическое благополучие;
• Здоровье;
• Баланс в использовании времени;
• Образование;
• Культурные разнообразие и устойчивость;
• Качественное госуправление;
• Стабильность местных сообществ;
• Экологические разнообразие и устойчивость;
• Качество жизни.

Положение дел в этих сферах измеряют с помощью опроса. Результаты затем используют при формировании национальных пятилетних планов.

В анкете, которая использовалась для опроса в 2015 году, было 148 вопросов. Например, в блоке, посвященном психологическому благосостоянию, людей спрашивают, насколько они удовлетворены жизнью в целом, а также отношениями с членами семьи, уровнем жизни, работой и балансом между работой и частной жизнь – по шкале от 0 до 10. В блоке, посвященном здоровью, людей, например, просят оценить, насколько здоровыми они себя чувствуют; ответить, есть ли у них тот или иной вид ограничений по здоровью, и сколько времени им нужно, чтобы добраться до ближайшего медицинского учреждения. В блоке, посвященном использованию времени, вопросы касаются, например, того, сколько времени человек посвящает сну, молитве, приготовлению пищи и т.п. В блоке, посвященному устойчивости сообществ, людей спрашивают, как давно они живут в своем населенном пункте, жертвуют ли они время и деньги на нужды сообщества, и насколько они доверяют соседям.

У меня есть отчет Комиссии по Валовому национальному счастью о положении дел в стране по результатам опроса, проведенного в 2015. Читать, как правительство с гордостью рапортует, например, что граждане стали спать на 15 минут в день больше (528 минут в 2015 году по сравнению с 513 минутами в 2010), немного странно, но понимаешь при этом, что для правительства Бутана гражданин не производительная единица, а живой человек.

Интересно, что счастье, которое должно создавать государство, и субъективное ощущение счастья человеком, - в Бутане не одно и тоже. В рамках опроса людей спрашивают, насколько счастливыми они себя ощущают: сегодня, вчера, за последний год, - но эти ответы не являются решающими, при определении уровня счастья. Так что счастье по-бутански, по сути, ближе к качеству жизни.

На основании заполненной анкеты для человека рассчитывают 33 показателя, описывающих качество его жизни в девяти сферах. Если по двум третям этих показателей человек достигает уровня «достаточного качества», его считают счастливым. И затем рассчитывают Индекс Валового национального счастья – как сумму доли людей, которые считаются счастливыми, плюс доля тех, кто еще не достиг счастья, помноженная на средний процент индикаторов, по которым у таких людей достигнут уровень «достаточного качества».

Оценка vs аудит эффективности

Я на волонтерских началах веду страницу Глобального движения парламентариев за использование оценки в госуправлении, поэтому регулярно отслеживаю, кто и как использует оценку в госсекторе. На днях с удивлением обнаружила, что Счетные палаты тоже делают оценку, а не только аудит эффективности.

Оказалось, что в рамках Международной организации высших органов аудита (INTOSAI), членами которой являются Счетные палаты 194 стран мира – включая Россию, с 1992 года действует Рабочая группа по оценке программ. Сейчас в нее входят Счетные палаты 22 стран. В 2016 году группа опубликовала «Руководство по оценке государственных политик». В этом документе очень изящно разведены понятия оценки и аудита эффективности.

Согласно стандарта Международной организации высших органов аудита ISSAI 300 «Основополагающие принципа аудита эффективности», данный вид аудита представляет собой независимую, объективную и достоверную проверку деятельности правительства на предмет ее соответствия принципам (критериям) экономичности, эффективности и результативности. Принцип экономичности требует минимизации затрат: используемые ресурсы должна приобретаться по лучшей цени и поставляться в нужное время, в нужно объеме и нужного качества. Принцип эффективности относится к отношению непосредственных результатов работы правительства к понесенным затратам и требует максимальной отдачи от использования ресурсов. Принцип результативности предполагает достижение запланированных результатов.

«Руководство по оценке государственных политик» признает, что при проведении оценки политик также используют критерии экономичности, эффективности и результативности. Но, согласно «Руководству», оценка смотрит на оцениваемую политику (или программу) шире. При проведении оценки используются еще два критерия: соответствие потребностям целевых групп политики (программы) и, главное, общая полезность политики с учетом ее запланированных и незапланированных результатов, причем как непосредственных, так и опосредованных. То есть критерий «полезности» (utility) по сути совпадает с критерием «влияния/социального воздействия» (impact), который обычно используют при проведении оценки, но слово «полезность» мне нравится больше.

Помимо описания соотношения между аудитом эффективности и оценкой, в «Руководстве» есть еще несколько интересных моментов:

• Результаты политики нужно измерять с помощью как количественных, так и качественных показателей.
• Измерять нужно не только «объективные» результаты, но и «субъективные», то есть, по сути, нужно учитывать мнение различных заинтересованных сторон, затрагиваемых оцениваемой политикой.
• Оценка должна отслеживать цепочки результатов/изменений, инициируемый применением политики.
• При проведении оценки политик Счетные палаты (и подрядчики, которым они могут заказывать проведение оценки) должны активно сотрудничать с широким кругом заинтересованных сторон – вплоть до совместного принятия решений о методологии оценки.

Дерево вопросов

Начинаю очередную оценку для одного из агентств ООН. По правилам агентства, при проведении оценки создают консультативную группу, в которую входят представители национальных государственных и негосударственных структур, имеющих отношение к оцениваемому проекту или программе. Члены группы должны быть хорошо знакомы с местной ситуаций и программой, и могут помочь внешним специалистам по оценке выбрать все нужные источники информации и потом корректно интерпретировать собранные данные и выработать полезные рекомендации. Поэтому членов группы просят изучить и дать обратную связь на Техническое задание (ТЗ) на проведении оценки, на документ, описывающий методологию проведения оценки, и, наконец, на отчет о результатах оценки.

Идея хорошая, но на практике возникают проблемы, потому что оценка – это отдельная профессиональная область со своей терминологией, с которой члены консультативной группы часто сталкиваются в первый раз. И вот они с ходу получают ТЗ, в котором описаны цели оценки, критерии оценки, вопросы оценки, к которым на следующем этапе добавляются еще и оцениваемые допущения. И времени на прямое общение с членами консультативной группы специалистам по оценка дают минимум. Поэтому я каждый раз пытаюсь придумать, как быстро объяснить людям, что все, что написано в ТЗ, не куча-мала из слов, а стройная конструкция, описывающая механизм проведения оценки. В этот раз я придумала, что можно говорить о «дереве вопросов оценки».

Уверена, многие знакомы с таким инструментом проектного менеджмента, как дерево целей или задач. Есть шутка: «Может ли человек съесть слона? – Может, но по кусочкам».  Дерево целей как раз это и делает: последовательно делит одну большую и сложную задачу на множество небольших. Число уровней в таком дереве в принципе не ограничено, хотя литература по проектному менеджменту рекомендует не делать больше двадцати уровней.

Оценку проекта также можно рассматривать как проект. В моем случае общей целью данного проекта является «обеспечить подотчетность», «вынести уроки из полученного опыта и дать рекомендации на будущее». «Обеспечить подотчетность» - это подстрочный перевод английского словосочетания, которое означает, что оценка должна проверить, в какой степени реализация оцениваемой программы соответствовала правилам, принятым в агентстве. Соответственно, эту цель оценки можно сформулировать в виде вопроса: «Насколько реализация программы соответствовала внутренним правилам агентства?»

А внутренние правила говорят, что программы агентства должны соответствовать потребностям стран, где агентство работает, и стратегии самого агентства, отсюда критерий «relevance - релевантность», который на русский обычно переводят как «актуальность». Кроме того, программы должны достигать запланированных результатов (результативность), эффективно используя имеющиеся ресурсы (экономическая эффективность). А реализующий программы страновой офис должен обеспечить сохранение положительных эффектов, полученных благодаря программе и после ее окончания (устойчивость), и активно координировать свою работу с другими агентствами ООН, работающими в стране (скоординированность работы в рамках становой команды). Соответственно, критерии оценки также переводятся в вопросы: «Насколько актуальной была программа?», «Насколько результативной была программа?» и т.д.

На следующем уровне детализации вопросы появляются уже в явном виде. Например, под критерием «актуальность» в ТЗ могут быть вопросы типа «Насколько программа соответствовала стратегическим планам агентства?», «Насколько программа соответствовала потребностям целевых групп?» и т.п. А под критерием «результативность» - «Насколько своевременно были реализованы запланированные мероприятия программы?», «В какой степени реализованные мероприятия способствовали достижению запланированных результатов программы?» и т.д.

В моем случае на этапе дизайна оценки нужно проводить дальнейшую детализацию, потому что программа работала одновременно в нескольких тематических областях. В агентстве этот уровень называют «оцениваемыми допущениями». Допущение – это, по сути, описание, как в том или ином аспекте должна была работать программа или ее исполнители. И для каждого вопроса оценки нужно определить набор соответствующих допущений. И затем для каждого допущения нужно определить источники и методы сбора и анализа информации. Например, для вопроса «Насколько своевременно были реализованы запланированные мероприятия программы?» целесообразно сформулировать допущения, что «Были своевременно реализованы запланированные мероприятия в тематической области А», «Были своевременно реализованы запланированные мероприятия в тематической области В», и т.п. Но все эти допущения можно представить и в виде вопросов, например, «Насколько своевременно были реализованы запланированные мероприятия в тематической области А?». Кстати, в другом агентстве это уровень детализации называют «уточняющими вопросам».

Таким образом, первый этап оценки можно рассматривать как построение «дерева вопросов», когда от общих вопросов переходят в более конкретным, чтобы затем можно было корректно – и понятно для неспециалистов - разработать методологию оценки.

Пример Дерева вопросов оценки.

Заметки с конференции Американской ассоциации оценки, Кливленд 2018

Несколько лет подряд Форум доноров устраивал встречи, на которых люди, которые участвовали в конференции Американской ассоциации оценки, делились своими впечатлениями и привезенными идеями. В прошлом году такой встречи не случилось, но чувство, что я должна поделиться тем, что узнала на конференции, у меня осталось. Поэтому решила сделать это вот в таком формате.

Тема конференции

В прошлом году конференция Американской ассоциации оценки была посвящена теме «Speaking truth to power», что можно перевести как «Говорим правду, лицам, облеченным властью». Тема кажется героической, но, учитывая историю оценки в США, пафос, предполагаемый темой, меня удивил. Оценка программ и проектов появилась в США в 1960-е именно потому, что у власти была потребность в информации о реальном, без прикрас, положении дел с реализацией грантовых проектов в сфере образования, финансируемых из федерального бюджета. Гранты выделялись в рамках начинающейся в США «Войны с бедностью» и предназначались на то, чтобы улучшить невысокие образовательные результаты детей из беднейших семей. Школы не привыкли уделять внимание этим детям, и сенатор Роберт Кеннеди боялся, что грантовые средства будут тратиться нецелевым образом и бедные ученики опять останутся «за бортом» системы. И вот, чтобы у парламента была возможность контроля, Кеннеди добился включения требования о проведения внешней независимой оценки проектов грантополучателей в Закон о начальном и среднем образовании.

Но на конференции я с удивлением обнаружила, что «правда», о которой идет речь во фразе, ставшей темой конференции, не про факты, а про ценности. Выражение «Speaking truth to power» происходит от названия книги «Speak truth to power» («Говорите правду сильным мира сего»), опубликованной в 1955 году Американским комитетом Друзей на службе обществу. Друзья здесь – это самоназвание квакеров, протестантского христианского движения, членов которого объединяет вера в то, что бог говорит с каждым человеком напрямую, а не через библию и профессиональных священников.

Книга «Speak truth to power» обосновывает необходимость применения ненасильственных способов разрешения «холодной» войны, противостояния между СССР и США. «Правда», которую предлагает «говорить» эта книга, - это безусловная необходимость уважения человеческого достоинства, стремления к социальной справедливости и отказа от насилия как средства разрешения конфликтов.

Так что конференции была посвящена моральной позиции специалиста по оценке и моральной ответственности профессионального сообщества перед обществом. Важно понимать, что моральные принципы, изложенные в книге «Speak truth to power», стали основой движения за социальную справедливость в США в 1960-е годы и оказали значительное влияние на формирование мировоззрения людей, которые сегодня входят в профессиональное сообщество специалистов по оценке в США. И теперь мне понятно, почему американские коллеги уделяют такое внимание теме использования оценки для продвижения социальной справедливости.

Если специалист по оценке разделяет описанные выше моральные принципы, то у него появляется ценностная «призма», через которую он или она «смотрит» на проект или программу. Проект становится хорошим, если в ходе его реализации с уважением относятся к человеческому достоинству всех участников, и проект способствует достижению социальной справедливости.

Новые форматы взаимодействия с заказчиком на этапах интерпретации и представления результатов оценки

Одна из самых сложных задач на конференции Американской ассоциации оценки – это решить, на какую из нескольких десятков параллельных сессий пойти. Это делать проще, если заранее определиться с приоритетами: выбрать, в какие темы хочется углубиться в этом году. В этот раз я решила уделить больше внимания новым подходам к взаимодействию между специалистом по оценке и теми, кто ее заказал и будет использовать результаты.

Сессии для совместной интерпретации данных

Название инструмента, о котором пойдет речь, - «place mat» - на русский переводится как салфетка или коврик под приборы. Хотя источником вдохновения для него скорее является лист с картинками для раскрашивания и играми, который часто кладут детям на поднос в заведениях фаст-фуда.

Идея в том, что вместо презентации с предварительными результатами оценки специалист по оценке делает небольшие постеры, на которые выносит основные данные, например, графики и цитаты из интервью. Затем проводится встреча заинтересованных сторон, в ходе которой людям предлагают изучить эти данные и обсудить, как они могли бы их интерпретировать, и какие выводы и рекомендации следуют из этой интерпретации.

В оригинале постеры нужно было ламинировать, раскладывать их на столах - как коврики под приборы, сажать людей вокруг столов, давать им цветные фломастеры, чтобы можно было писать на постерах, и начинать обсуждение. В этом году на конференции люди рассказывали, что немного изменили технологию и размещают постеры на стенах, и участники встречи ходят от постера к постеру, изучая и обсуждая представленные на них данные.

Суть подхода в том, что мы пускаем заказчика в нашу внутреннюю кухню и предлагаем ему самому сделать выводы и рекомендации на основании собранных данных. Я слежу за развитием данного подхода уже несколько лет и, по возможности, стараюсь использовать в своей практике. Главное достоинство, на мой взгляд, в том, что с данными спорить гораздо сложнее, чем с выводами и рекомендациями. И когда клиент сам делает вывод о том, что в проекте что-то работает не так, как хотелось, ему проще принять этот вывод и начать думать о том, как можно исправить ситуацию.

Театрализованный отчет

Слышала в теории, но впервые увидела на практике. На одном из пленарных заседаний показали спектакль, поставленный по результатам исследования системы образования в Детройте. Система довольно рано делит детей на три потока: поток для одаренных, которых готовят к поступлению в высшие учебные заведения; поток для детей, которых готовят к работе в сфере обслуживания, например, парикмахерами и косметологами; и поток, который готовит детей к рабочим профессиям. Главный вывод исследования: второй и третий потоки ведут детей прямиком в жизненный тупик, потому что на сегодняшнем рынке труда даже рабочие профессии требуют знаний, которые получают только дети, которых целенаправленно готовят к поступлению в университеты.

Спектакль, построенный на интервью с учениками и специалистами, работающими в системе образования, отслеживает истории двух ребят, направленных во второй и третий потоки, пока они учатся в школе и в течение нескольких лет после ее окончания. Рассказы, которые звучат со сцены, подкрепляются графиками с количественными данными, которые в нужный момент выводятся на экраны по бокам сцены.

Впечатление производит очень сильное. Наверное, потому что есть история, рассказанная от первого лица, и это заставляет сопереживать рассказчику. Я в своей практике для сбора данных регулярно использую инструмент «карты изменений»: это формат групповой работы, когда я прошу людей написать на листочках, что изменилось в разных областях их жизни в результате участия в оцениваемом проекте, и наклеить листочки на соответствующие области «карты». И каждый раз у меня бывает участник, который пишет полноценную историю. И когда даешь потом заказчику почитать такую историю, это действует сильнее, чем даже много отдельных цитат.

Инфографика

Два года назад клиент попросил меня в дополнение к длинному отчету сделать двухстраничную версию. В прошлом году меня уже попросили не просто написать краткую версию отчета, но и сделать ее графический дизайн. Поэтому я решила, что через пару лет меня точно попросят сделать краткий отчет в формате инфографики, и решила подготовиться.

Рост популярности инфографики понятен: мозг воспринимает визуальную информацию в 60 тысяч раз быстрее, чем текст, и запоминается она намного лучше. Но программы для графического дизайна стоят приличных денег, да и методом тыка из особо не освоишь. Поэтому предконференционный семинар, на котором обещали научить делать инфографику в PowerPoint, выглядел очень заманчиво.

Я сходила даже на два семинара: и теоретический, где рассказывали про общие принципы, и на практический, где нужно было сделать инфографику для своего проекта. Главное, что дали мне семинары, это понимание того, что информация первична, а графика вторична. Сначала нужно определить, какую информацию ты хочешь донести, и только затем думать, как представить ее визуально.

На практике для меня самым сложным оказалась «минимизация» объема передаваемой информации. Мне и при написании отчета жалко, что теряется масса интересных деталей о проекте. А для инфографики нужно «выкинуть» все, кроме самого-самого важного. Но когда картинка «складывается», с удивлением понимаешь, что этого достаточно. И еще я поняла, что совершенно не обязательно делать сложный дизайн, простой тоже хорошо работает.

К сожалению, инфографику, которую я сделала на семинаре по результатам реальной оценки, клиент не разрешил всем показать. Так что я в качестве примера упаковала свои заметки с конференции Американской конференции оценки в виде инфографики.

Оценка в планетарном масштабе

Я на каждой конференции обязательно хожу на сессии Майкла Пэттона, одного из нынешних гуру в области оценки. Майкл уникален тем, что ориентируется в первую очередь на потребности клиентов и не боится выходить за сложившиеся профессиональные рамки. И в результате активно двигает нашу профессию вперед, разрабатывая новые модели оценки.

Две традиционные модели оценки – суммативная, выносящая итоговое суждение о механизме изменения, заложенном в проекте или программе, и формативная, задача которой предложить, как этот механизм можно улучшить, - сложились в 1970-е, когда верили, что можно разработать «механизмы», который будут давать те или иные социальные результаты в любых условиях. Учитывая, что оценка тогда применялась главным образом в сфере образования, вера эта была небезосновательной. Можно разработать учебный курс, улучшить его, используя формативную оценку, затем еще раз проверить, действительно ли он работает, как нам нужно, используя суммативную оценку, и затем другие преподаватели смогут использовать данный курс в разных местах и получать при этом примерно одинаковые результаты.

Но вот однажды клиент Пэттона отказался завершить доработку модели одной из своих программ, чтобы можно было провести ее суммативную оценку. Этой организации было важно постоянно совершенствовать данную программу, адаптируя к постоянно меняющимся условиям. По рассказам Пэттона, дальше между ним и директором организации-клиента произошел примерно следующий диалог:

- Майкл, мы хотим продолжать адаптировать свою программу. Нет ли у вас еще какого-нибудь вида оценки кроме формативной и суммативной?

- Ну… Есть… Адаптивная.

Так появилась developmental evaluation. Этот термин практически невозможно коротко перевести на русский. К счастью, Пэттон поделился на одном из своих семинаров, что, если бы у него была возможность повернуть время вспять, он бы назвал эту оценку не developmental, а adaptive, так что на русский я перевожу название этой модели оценки как «адаптивная оценка». Она сопровождает развитие проекта или программы, помогая ему адаптироваться к меняющимся условиям.

Затем у Пэттона появился клиент, у которого было несколько разных проектов, но все они должны были соблюдать единый набор принципов работы. Это стало толчком для разработки модели оценки, которая анализирует не то, как работает какой-то конкретный механизм создания социальных изменений, а насколько при реализации одного или нескольких проектов соблюдаются какие-то значимые принципы. Например, в рамках программы работы с детьми руководству может быть не важно, что конкретно делают исполнители в разных точках: где-то могут проводить кулинарные классы, а где-то занятия рисованием, - но важно, чтобы обучение проводилось по принципу «равный-равному», то есть занятия вели дети, которые участвовали в программе ранее, а взрослые соблюдали принцип партнерства с детьми.

Новая разработка Пэттона – blue marble evaluation, дословно, оценка голубого шарика. Голубой шарик – это наша планета, ее назвал так американский астронавт, который первым сделал фото Земли из космоса, где она видна целиком. Сегодня появились программы, которые хотят добиться каких-то результатов в масштабах всей планеты. И «оценка голубого шарика» разрабатывается именно для них.

Пока Пэттон предложил три критерия, по которым должны оцениваться глобальные проекты:

• Глобальность – действительно ли проект работает в глобальном (планетарном) масштабе?
• Соответствие действий на локальном уровне глобальной задаче проекта.
• Междисциплинарность – учет знаний из различных отраслей при разработке и реализации проекта.

Оценка с участием детей

Недавно я стала консультантом двух исследовательских проектов НКО, которые выиграли конкурс Фонда Тимченко «Голос ребенка: дети как эксперты опыта». Одно из требований к этим проектам – включение детей в процесс исследования, в нашем случае – оценочного или, проще говоря, оценки.

А можно ли вообще включать детей в процесс оценки и с какого возраста дети могут участвовать в оценке? Судя по литературе, при использовании инструментов, дружественных к детям, дети могут участвовать в обсуждении и анализе своего опыта с 6 лет. После 10 лет дети могут также участвовать в оценке в качестве соисполнителей, например, фасилитировать групповые упражнения. У меня есть собственный – успешный - опыт работы в ходе оценки с подростками от 14 лет.

Каким образом можно включать детей в оценку? Походов множество. Основные приведены в таблице ниже. При ее изучении важно учитывать, что представленные модели нельзя выстроить по одной линии по степени вовлеченности детей, и границы между некоторыми моделями достаточно условны.

Модель участия детей в процессе оценки	Особенности модели
Дети полностью исключены из процесса оценки	В качестве источника информации об опыте детей в рамках проекта используют их законных представителей.
Номинальное участие	Детей используют в качестве источника информации. Но для сбора информации используют инструменты, которые жестко ограничивают возможности ребенка выразить свое мнение относительно проекта (например, анкеты, предполагающие выбор из нескольких вариантов ответа).
Инструментальное участие	Детей привлекают как помощников в процессе сбора информации – они проводят анкетирование других детей.
Партнерское участие	Как минимум у детей есть возможность активно участвовать в обсуждении опыта своего участия в проекте. Используются методы сбора информации, дружественные к детям.
Дети как соисполнители оценки	Оценку проводит команда, в состав которой входят как взрослые специалисты по оценки, так и дети-благополучатели проекта. Члены команды вместе принимают решения относительно процесса оценки.
Дети сами проводят оценку проекта	Дети-благополучатели проекта самостоятельно выполняют все этапы оценки – от постановки задачи до предоставления результатов оценки.
Интеграция оценки в процесс работы детских объединений как основы для принятия коллективных решений	Коллективные решения о том, что делать дальше, принимаются детьми на основе результатов коллективной рефлексии результатов реализации предыдущих решений.