Несколько лет подряд Форум доноров устраивал встречи, на
которых люди, которые участвовали в конференции Американской ассоциации оценки,
делились своими впечатлениями и привезенными идеями. В прошлом году такой
встречи не случилось, но чувство, что я должна поделиться тем, что узнала на
конференции, у меня осталось. Поэтому решила сделать это вот в таком формате.
Тема конференции
В прошлом году конференция
Американской ассоциации оценки была посвящена теме «Speaking truth to power», что можно перевести
как «Говорим правду, лицам, облеченным властью». Тема кажется героической, но,
учитывая историю оценки в США, пафос, предполагаемый темой, меня удивил. Оценка
программ и проектов появилась в США в 1960-е именно потому, что у власти была
потребность в информации о реальном, без прикрас, положении дел с реализацией грантовых
проектов в сфере образования, финансируемых из федерального бюджета. Гранты
выделялись в рамках начинающейся в США «Войны с бедностью» и предназначались на
то, чтобы улучшить невысокие образовательные результаты детей из беднейших
семей. Школы не привыкли уделять внимание этим детям, и сенатор Роберт Кеннеди
боялся, что грантовые средства будут тратиться нецелевым образом и бедные ученики
опять останутся «за бортом» системы. И вот, чтобы у парламента была возможность
контроля, Кеннеди добился включения требования о проведения внешней независимой
оценки проектов грантополучателей в Закон о начальном и среднем образовании.
Но на конференции я с удивлением
обнаружила, что «правда», о которой идет речь во фразе, ставшей темой
конференции, не про факты, а про ценности. Выражение «Speaking truth to power» происходит от названия
книги «Speak truth to power»
(«Говорите правду сильным мира сего»), опубликованной в 1955 году Американским
комитетом Друзей на службе обществу. Друзья здесь – это самоназвание квакеров,
протестантского христианского движения, членов которого объединяет вера в то,
что бог говорит с каждым человеком напрямую, а не через библию и
профессиональных священников.
Книга «Speak truth to power» обосновывает
необходимость применения ненасильственных способов разрешения «холодной» войны,
противостояния между СССР и США. «Правда», которую предлагает «говорить» эта
книга, - это безусловная необходимость уважения человеческого достоинства,
стремления к социальной справедливости и отказа от насилия как средства
разрешения конфликтов.
Так что конференции была посвящена моральной
позиции специалиста по оценке и моральной ответственности профессионального
сообщества перед обществом. Важно понимать, что моральные принципы, изложенные
в книге «Speak truth to power»,
стали основой движения за социальную справедливость в США в 1960-е годы и
оказали значительное влияние на формирование мировоззрения людей, которые
сегодня входят в профессиональное сообщество специалистов по оценке в США. И
теперь мне понятно, почему американские коллеги уделяют такое внимание теме
использования оценки для продвижения социальной справедливости.
Если специалист по оценке разделяет
описанные выше моральные принципы, то у него появляется ценностная «призма»,
через которую он или она «смотрит» на проект или программу. Проект становится
хорошим, если в ходе его реализации с уважением относятся к человеческому
достоинству всех участников, и проект способствует достижению социальной
справедливости.
Новые форматы взаимодействия с заказчиком на этапах интерпретации и
представления результатов оценки
Одна из самых сложных задач на
конференции Американской ассоциации оценки – это решить, на какую из нескольких
десятков параллельных сессий пойти. Это делать проще, если заранее определиться
с приоритетами: выбрать, в какие темы хочется углубиться в этом году. В этот раз
я решила уделить больше внимания новым подходам к взаимодействию между
специалистом по оценке и теми, кто ее заказал и будет использовать результаты.
Сессии
для совместной интерпретации данных
Название инструмента, о котором
пойдет речь, - «place mat»
- на русский переводится как салфетка или коврик под приборы. Хотя источником
вдохновения для него скорее является лист с картинками для раскрашивания и
играми, который часто кладут детям на поднос в заведениях фаст-фуда.
Идея в том, что вместо презентации
с предварительными результатами оценки специалист по оценке делает небольшие
постеры, на которые выносит основные данные, например, графики и цитаты из
интервью. Затем проводится встреча заинтересованных сторон, в ходе которой
людям предлагают изучить эти данные и обсудить, как они могли бы их
интерпретировать, и какие выводы и рекомендации следуют из этой интерпретации.
В оригинале постеры нужно было
ламинировать, раскладывать их на столах - как коврики под приборы, сажать людей
вокруг столов, давать им цветные фломастеры, чтобы можно было писать на
постерах, и начинать обсуждение. В этом году на конференции люди рассказывали,
что немного изменили технологию и размещают постеры на стенах, и участники
встречи ходят от постера к постеру, изучая и обсуждая представленные на них
данные.
Суть подхода в том, что мы пускаем
заказчика в нашу внутреннюю кухню и предлагаем ему самому сделать выводы и
рекомендации на основании собранных данных. Я слежу за развитием данного
подхода уже несколько лет и, по возможности, стараюсь использовать в своей
практике. Главное достоинство, на мой взгляд, в том, что с данными спорить
гораздо сложнее, чем с выводами и рекомендациями. И когда клиент сам делает
вывод о том, что в проекте что-то работает не так, как хотелось, ему проще принять
этот вывод и начать думать о том, как можно исправить ситуацию.
Театрализованный
отчет
Слышала в теории, но впервые
увидела на практике. На одном из пленарных заседаний показали спектакль,
поставленный по результатам исследования системы образования в Детройте.
Система довольно рано делит детей на три потока: поток для одаренных, которых
готовят к поступлению в высшие учебные заведения; поток для детей, которых
готовят к работе в сфере обслуживания, например, парикмахерами и косметологами;
и поток, который готовит детей к рабочим профессиям. Главный вывод
исследования: второй и третий потоки ведут детей прямиком в жизненный тупик,
потому что на сегодняшнем рынке труда даже рабочие профессии требуют знаний,
которые получают только дети, которых целенаправленно готовят к поступлению в
университеты.
Спектакль, построенный на интервью
с учениками и специалистами, работающими в системе образования, отслеживает
истории двух ребят, направленных во второй и третий потоки, пока они учатся в
школе и в течение нескольких лет после ее окончания. Рассказы, которые звучат
со сцены, подкрепляются графиками с количественными данными, которые в нужный
момент выводятся на экраны по бокам сцены.
Впечатление производит очень
сильное. Наверное, потому что есть история, рассказанная от первого лица, и это
заставляет сопереживать рассказчику. Я в своей практике для сбора данных регулярно
использую инструмент «карты изменений»: это формат групповой работы, когда я
прошу людей написать на листочках, что изменилось в разных областях их жизни в
результате участия в оцениваемом проекте, и наклеить листочки на соответствующие
области «карты». И каждый раз у меня бывает участник, который пишет полноценную
историю. И когда даешь потом заказчику почитать такую историю, это действует
сильнее, чем даже много отдельных цитат.
Инфографика
Два года назад клиент попросил меня
в дополнение к длинному отчету сделать двухстраничную версию. В прошлом году
меня уже попросили не просто написать краткую версию отчета, но и сделать ее
графический дизайн. Поэтому я решила, что через пару лет меня точно попросят
сделать краткий отчет в формате инфографики, и решила подготовиться.
Рост популярности инфографики
понятен: мозг воспринимает визуальную информацию в 60 тысяч раз быстрее, чем
текст, и запоминается она намного лучше. Но программы для графического дизайна
стоят приличных денег, да и методом тыка из особо не освоишь. Поэтому предконференционный
семинар, на котором обещали научить делать инфографику в PowerPoint, выглядел очень заманчиво.
Я сходила даже на два семинара: и
теоретический, где рассказывали про общие принципы, и на практический, где
нужно было сделать инфографику для своего проекта. Главное, что дали мне
семинары, это понимание того, что информация первична, а графика вторична.
Сначала нужно определить, какую информацию ты хочешь донести, и только затем
думать, как представить ее визуально.
На практике для меня самым сложным
оказалась «минимизация» объема передаваемой информации. Мне и при написании
отчета жалко, что теряется масса интересных деталей о проекте. А для
инфографики нужно «выкинуть» все, кроме самого-самого важного. Но когда
картинка «складывается», с удивлением понимаешь, что этого достаточно. И еще я
поняла, что совершенно не обязательно делать сложный дизайн, простой тоже
хорошо работает.
К сожалению, инфографику, которую я
сделала на семинаре по результатам реальной оценки, клиент не разрешил всем
показать. Так что я в качестве примера упаковала свои заметки с конференции
Американской конференции оценки в виде инфографики.
Оценка в планетарном масштабе
Я на каждой конференции обязательно
хожу на сессии Майкла Пэттона, одного из нынешних гуру в области оценки. Майкл
уникален тем, что ориентируется в первую очередь на потребности клиентов и не
боится выходить за сложившиеся профессиональные рамки. И в результате активно
двигает нашу профессию вперед, разрабатывая новые модели оценки.
Две традиционные модели оценки –
суммативная, выносящая итоговое суждение о механизме изменения, заложенном в
проекте или программе, и формативная, задача которой предложить, как этот
механизм можно улучшить, - сложились в 1970-е, когда верили, что можно разработать
«механизмы», который будут давать те или иные социальные результаты в любых
условиях. Учитывая, что оценка тогда применялась главным образом в сфере
образования, вера эта была небезосновательной. Можно разработать учебный курс,
улучшить его, используя формативную оценку, затем еще раз проверить,
действительно ли он работает, как нам нужно, используя суммативную оценку, и затем
другие преподаватели смогут использовать данный курс в разных местах и получать
при этом примерно одинаковые результаты.
Но вот однажды клиент Пэттона
отказался завершить доработку модели одной из своих программ, чтобы можно было
провести ее суммативную оценку. Этой организации было важно постоянно
совершенствовать данную программу, адаптируя к постоянно меняющимся условиям.
По рассказам Пэттона, дальше между ним и директором организации-клиента
произошел примерно следующий диалог:
- Майкл, мы хотим продолжать
адаптировать свою программу. Нет ли у вас еще какого-нибудь вида оценки кроме
формативной и суммативной?
- Ну… Есть… Адаптивная.
Так появилась developmental evaluation. Этот термин
практически невозможно коротко перевести на русский. К счастью, Пэттон
поделился на одном из своих семинаров, что, если бы у него была возможность
повернуть время вспять, он бы назвал эту оценку не developmental, а adaptive, так что на русский я перевожу
название этой модели оценки как «адаптивная оценка». Она сопровождает развитие
проекта или программы, помогая ему адаптироваться к меняющимся условиям.
Затем у Пэттона появился клиент, у
которого было несколько разных проектов, но все они должны были соблюдать
единый набор принципов работы. Это стало толчком для разработки модели оценки,
которая анализирует не то, как работает какой-то конкретный механизм создания
социальных изменений, а насколько при реализации одного или нескольких проектов
соблюдаются какие-то значимые принципы. Например, в рамках программы работы с
детьми руководству может быть не важно, что конкретно делают исполнители в
разных точках: где-то могут проводить кулинарные классы, а где-то занятия
рисованием, - но важно, чтобы обучение проводилось по принципу
«равный-равному», то есть занятия вели дети, которые участвовали в программе
ранее, а взрослые соблюдали принцип партнерства с детьми.
Новая разработка Пэттона – blue marble evaluation, дословно, оценка
голубого шарика. Голубой шарик – это наша планета, ее назвал так американский
астронавт, который первым сделал фото Земли из космоса, где она видна целиком.
Сегодня появились программы, которые хотят добиться каких-то результатов в
масштабах всей планеты. И «оценка голубого шарика» разрабатывается именно для
них.
Пока Пэттон предложил три критерия, по которым должны оцениваться
глобальные проекты:
- Глобальность – действительно ли проект работает в глобальном (планетарном) масштабе?
- Соответствие действий на локальном уровне глобальной задаче проекта.
- Междисциплинарность – учет знаний из различных отраслей при разработке и реализации проекта.
