четверг, 14 февраля 2019 г.

Заметки с конференции Американской ассоциации оценки, Кливленд 2018


Несколько лет подряд Форум доноров устраивал встречи, на которых люди, которые участвовали в конференции Американской ассоциации оценки, делились своими впечатлениями и привезенными идеями. В прошлом году такой встречи не случилось, но чувство, что я должна поделиться тем, что узнала на конференции, у меня осталось. Поэтому решила сделать это вот в таком формате.

Тема конференции
В прошлом году конференция Американской ассоциации оценки была посвящена теме «Speaking truth to power», что можно перевести как «Говорим правду, лицам, облеченным властью». Тема кажется героической, но, учитывая историю оценки в США, пафос, предполагаемый темой, меня удивил. Оценка программ и проектов появилась в США в 1960-е именно потому, что у власти была потребность в информации о реальном, без прикрас, положении дел с реализацией грантовых проектов в сфере образования, финансируемых из федерального бюджета. Гранты выделялись в рамках начинающейся в США «Войны с бедностью» и предназначались на то, чтобы улучшить невысокие образовательные результаты детей из беднейших семей. Школы не привыкли уделять внимание этим детям, и сенатор Роберт Кеннеди боялся, что грантовые средства будут тратиться нецелевым образом и бедные ученики опять останутся «за бортом» системы. И вот, чтобы у парламента была возможность контроля, Кеннеди добился включения требования о проведения внешней независимой оценки проектов грантополучателей в Закон о начальном и среднем образовании.

Но на конференции я с удивлением обнаружила, что «правда», о которой идет речь во фразе, ставшей темой конференции, не про факты, а про ценности. Выражение «Speaking truth to power» происходит от названия книги «Speak truth to power» («Говорите правду сильным мира сего»), опубликованной в 1955 году Американским комитетом Друзей на службе обществу. Друзья здесь – это самоназвание квакеров, протестантского христианского движения, членов которого объединяет вера в то, что бог говорит с каждым человеком напрямую, а не через библию и профессиональных священников.

Книга «Speak truth to power» обосновывает необходимость применения ненасильственных способов разрешения «холодной» войны, противостояния между СССР и США. «Правда», которую предлагает «говорить» эта книга, - это безусловная необходимость уважения человеческого достоинства, стремления к социальной справедливости и отказа от насилия как средства разрешения конфликтов.

Так что конференции была посвящена моральной позиции специалиста по оценке и моральной ответственности профессионального сообщества перед обществом. Важно понимать, что моральные принципы, изложенные в книге «Speak truth to power», стали основой движения за социальную справедливость в США в 1960-е годы и оказали значительное влияние на формирование мировоззрения людей, которые сегодня входят в профессиональное сообщество специалистов по оценке в США. И теперь мне понятно, почему американские коллеги уделяют такое внимание теме использования оценки для продвижения социальной справедливости.
Если специалист по оценке разделяет описанные выше моральные принципы, то у него появляется ценностная «призма», через которую он или она «смотрит» на проект или программу. Проект становится хорошим, если в ходе его реализации с уважением относятся к человеческому достоинству всех участников, и проект способствует достижению социальной справедливости.

Новые форматы взаимодействия с заказчиком на этапах интерпретации и представления результатов оценки
Одна из самых сложных задач на конференции Американской ассоциации оценки – это решить, на какую из нескольких десятков параллельных сессий пойти. Это делать проще, если заранее определиться с приоритетами: выбрать, в какие темы хочется углубиться в этом году. В этот раз я решила уделить больше внимания новым подходам к взаимодействию между специалистом по оценке и теми, кто ее заказал и будет использовать результаты.

Сессии для совместной интерпретации данных
Название инструмента, о котором пойдет речь, - «place mat» - на русский переводится как салфетка или коврик под приборы. Хотя источником вдохновения для него скорее является лист с картинками для раскрашивания и играми, который часто кладут детям на поднос в заведениях фаст-фуда.

Идея в том, что вместо презентации с предварительными результатами оценки специалист по оценке делает небольшие постеры, на которые выносит основные данные, например, графики и цитаты из интервью. Затем проводится встреча заинтересованных сторон, в ходе которой людям предлагают изучить эти данные и обсудить, как они могли бы их интерпретировать, и какие выводы и рекомендации следуют из этой интерпретации.

В оригинале постеры нужно было ламинировать, раскладывать их на столах - как коврики под приборы, сажать людей вокруг столов, давать им цветные фломастеры, чтобы можно было писать на постерах, и начинать обсуждение. В этом году на конференции люди рассказывали, что немного изменили технологию и размещают постеры на стенах, и участники встречи ходят от постера к постеру, изучая и обсуждая представленные на них данные.

Суть подхода в том, что мы пускаем заказчика в нашу внутреннюю кухню и предлагаем ему самому сделать выводы и рекомендации на основании собранных данных. Я слежу за развитием данного подхода уже несколько лет и, по возможности, стараюсь использовать в своей практике. Главное достоинство, на мой взгляд, в том, что с данными спорить гораздо сложнее, чем с выводами и рекомендациями. И когда клиент сам делает вывод о том, что в проекте что-то работает не так, как хотелось, ему проще принять этот вывод и начать думать о том, как можно исправить ситуацию.

Театрализованный отчет
Слышала в теории, но впервые увидела на практике. На одном из пленарных заседаний показали спектакль, поставленный по результатам исследования системы образования в Детройте. Система довольно рано делит детей на три потока: поток для одаренных, которых готовят к поступлению в высшие учебные заведения; поток для детей, которых готовят к работе в сфере обслуживания, например, парикмахерами и косметологами; и поток, который готовит детей к рабочим профессиям. Главный вывод исследования: второй и третий потоки ведут детей прямиком в жизненный тупик, потому что на сегодняшнем рынке труда даже рабочие профессии требуют знаний, которые получают только дети, которых целенаправленно готовят к поступлению в университеты.

Спектакль, построенный на интервью с учениками и специалистами, работающими в системе образования, отслеживает истории двух ребят, направленных во второй и третий потоки, пока они учатся в школе и в течение нескольких лет после ее окончания. Рассказы, которые звучат со сцены, подкрепляются графиками с количественными данными, которые в нужный момент выводятся на экраны по бокам сцены.

Впечатление производит очень сильное. Наверное, потому что есть история, рассказанная от первого лица, и это заставляет сопереживать рассказчику. Я в своей практике для сбора данных регулярно использую инструмент «карты изменений»: это формат групповой работы, когда я прошу людей написать на листочках, что изменилось в разных областях их жизни в результате участия в оцениваемом проекте, и наклеить листочки на соответствующие области «карты». И каждый раз у меня бывает участник, который пишет полноценную историю. И когда даешь потом заказчику почитать такую историю, это действует сильнее, чем даже много отдельных цитат.

Инфографика
Два года назад клиент попросил меня в дополнение к длинному отчету сделать двухстраничную версию. В прошлом году меня уже попросили не просто написать краткую версию отчета, но и сделать ее графический дизайн. Поэтому я решила, что через пару лет меня точно попросят сделать краткий отчет в формате инфографики, и решила подготовиться.
Рост популярности инфографики понятен: мозг воспринимает визуальную информацию в 60 тысяч раз быстрее, чем текст, и запоминается она намного лучше. Но программы для графического дизайна стоят приличных денег, да и методом тыка из особо не освоишь. Поэтому предконференционный семинар, на котором обещали научить делать инфографику в PowerPoint, выглядел очень заманчиво.

Я сходила даже на два семинара: и теоретический, где рассказывали про общие принципы, и на практический, где нужно было сделать инфографику для своего проекта. Главное, что дали мне семинары, это понимание того, что информация первична, а графика вторична. Сначала нужно определить, какую информацию ты хочешь донести, и только затем думать, как представить ее визуально.

На практике для меня самым сложным оказалась «минимизация» объема передаваемой информации. Мне и при написании отчета жалко, что теряется масса интересных деталей о проекте. А для инфографики нужно «выкинуть» все, кроме самого-самого важного. Но когда картинка «складывается», с удивлением понимаешь, что этого достаточно. И еще я поняла, что совершенно не обязательно делать сложный дизайн, простой тоже хорошо работает.
К сожалению, инфографику, которую я сделала на семинаре по результатам реальной оценки, клиент не разрешил всем показать. Так что я в качестве примера упаковала свои заметки с конференции Американской конференции оценки в виде инфографики.



Оценка в планетарном масштабе
Я на каждой конференции обязательно хожу на сессии Майкла Пэттона, одного из нынешних гуру в области оценки. Майкл уникален тем, что ориентируется в первую очередь на потребности клиентов и не боится выходить за сложившиеся профессиональные рамки. И в результате активно двигает нашу профессию вперед, разрабатывая новые модели оценки.

Две традиционные модели оценки – суммативная, выносящая итоговое суждение о механизме изменения, заложенном в проекте или программе, и формативная, задача которой предложить, как этот механизм можно улучшить, - сложились в 1970-е, когда верили, что можно разработать «механизмы», который будут давать те или иные социальные результаты в любых условиях. Учитывая, что оценка тогда применялась главным образом в сфере образования, вера эта была небезосновательной. Можно разработать учебный курс, улучшить его, используя формативную оценку, затем еще раз проверить, действительно ли он работает, как нам нужно, используя суммативную оценку, и затем другие преподаватели смогут использовать данный курс в разных местах и получать при этом примерно одинаковые результаты.

Но вот однажды клиент Пэттона отказался завершить доработку модели одной из своих программ, чтобы можно было провести ее суммативную оценку. Этой организации было важно постоянно совершенствовать данную программу, адаптируя к постоянно меняющимся условиям. По рассказам Пэттона, дальше между ним и директором организации-клиента произошел примерно следующий диалог:
- Майкл, мы хотим продолжать адаптировать свою программу. Нет ли у вас еще какого-нибудь вида оценки кроме формативной и суммативной?
- Ну… Есть… Адаптивная.

Так появилась developmental evaluation. Этот термин практически невозможно коротко перевести на русский. К счастью, Пэттон поделился на одном из своих семинаров, что, если бы у него была возможность повернуть время вспять, он бы назвал эту оценку не developmental, а adaptive, так что на русский я перевожу название этой модели оценки как «адаптивная оценка». Она сопровождает развитие проекта или программы, помогая ему адаптироваться к меняющимся условиям.

Затем у Пэттона появился клиент, у которого было несколько разных проектов, но все они должны были соблюдать единый набор принципов работы. Это стало толчком для разработки модели оценки, которая анализирует не то, как работает какой-то конкретный механизм создания социальных изменений, а насколько при реализации одного или нескольких проектов соблюдаются какие-то значимые принципы. Например, в рамках программы работы с детьми руководству может быть не важно, что конкретно делают исполнители в разных точках: где-то могут проводить кулинарные классы, а где-то занятия рисованием, - но важно, чтобы обучение проводилось по принципу «равный-равному», то есть занятия вели дети, которые участвовали в программе ранее, а взрослые соблюдали принцип партнерства с детьми.

Новая разработка Пэттона – blue marble evaluation, дословно, оценка голубого шарика. Голубой шарик – это наша планета, ее назвал так американский астронавт, который первым сделал фото Земли из космоса, где она видна целиком. Сегодня появились программы, которые хотят добиться каких-то результатов в масштабах всей планеты. И «оценка голубого шарика» разрабатывается именно для них.

Пока Пэттон предложил три критерия, по которым должны оцениваться глобальные проекты:
  • Глобальность – действительно ли проект работает в глобальном (планетарном) масштабе?
  • Соответствие действий на локальном уровне глобальной задаче проекта.
  • Междисциплинарность – учет знаний из различных отраслей при разработке и реализации проекта.




воскресенье, 3 февраля 2019 г.

Оценка с участием детей


Недавно я стала консультантом двух исследовательских проектов НКО, которые выиграли конкурс Фонда Тимченко «Голос ребенка: дети как эксперты опыта». Одно из требований к этим проектам – включение детей в процесс исследования, в нашем случае – оценочного или, проще говоря, оценки.

А можно ли вообще включать детей в процесс оценки и с какого возраста дети могут участвовать в оценке? Судя по литературе, при использовании инструментов, дружественных к детям, дети могут участвовать в обсуждении и анализе своего опыта с 6 лет. После 10 лет дети могут также участвовать в оценке в качестве соисполнителей, например, фасилитировать групповые упражнения. У меня есть собственный – успешный - опыт работы в ходе оценки с подростками от 14 лет.

Каким образом можно включать детей в оценку? Походов множество. Основные приведены в таблице ниже. При ее изучении важно учитывать, что представленные модели нельзя выстроить по одной линии по степени вовлеченности детей, и границы между некоторыми моделями достаточно условны.
Модель участия детей в процессе оценки
Особенности модели
Дети полностью исключены из процесса оценки
В качестве источника информации об опыте детей в рамках проекта используют их законных представителей.
Номинальное участие
Детей используют в качестве источника информации. Но для сбора информации используют инструменты, которые жестко ограничивают возможности ребенка выразить свое мнение относительно проекта (например, анкеты, предполагающие выбор из нескольких вариантов ответа).
Инструментальное участие
Детей привлекают как помощников в процессе сбора информации – они проводят анкетирование других детей.
Партнерское участие
Как минимум у детей есть возможность активно участвовать в обсуждении опыта своего участия в проекте. Используются методы сбора информации, дружественные к детям.
Дети как соисполнители оценки
Оценку проводит команда, в состав которой входят как взрослые специалисты по оценки, так и дети-благополучатели проекта. Члены команды вместе принимают решения относительно процесса оценки.
Дети сами проводят оценку проекта
Дети-благополучатели проекта самостоятельно выполняют все этапы оценки – от постановки задачи до предоставления результатов оценки.
Интеграция оценки в процесс работы детских объединений как основы для принятия коллективных решений
Коллективные решения о том, что делать дальше, принимаются детьми на основе результатов коллективной рефлексии результатов реализации предыдущих решений.



воскресенье, 19 ноября 2017 г.

ЦУР как универсальная «рамка» для измерения социальных результатов

За последние два года я провела несколько семинаров, посвященных оценке в контексте Целей в области устойчивого развития (ЦУР). Так как участники обычно плохо знакомы с ЦУР, которые были приняты Генеральной ассамблеей ООН в сентябре 2015 года, в качестве одного из первых упражнений я прошу людей проанализировать, как с ЦУР соотносятся либо те социальные проекты, над которыми они работали в последнее время, либо проект, который мы выбрали для семинара вместе с организаторами. Соответственно, участникам приходится внимательно прочитать описания 17 целей в области устойчивого развития и соответствующие им 169 подцелей.

Эти упражнения показали, что любой проект социальной направленности работает на несколько подцелей ЦУР. Так что если вы работаете в социальной сфере, то вносите вклад в достижение целей в области устойчивого развития, даже если и не подозреваете об этом.

Последние несколько лет довольно много говорили о необходимости создания коллективных систем измерения социальных результатов. Получается, что, когда правительства стран мира договорились о ЦУР, они фактически создали единую систему измерения социальных результатов, которая может использовать и за пределами государственного сектора (в принципе, ЦУР так и задумывались – как универсальные глобальные цели). На мой взгляд, у ЦУР как у универсальной «рамка» для измерения социальных результатов есть одно существенное достоинство, а именно фокус не на непосредственных результатах проекта, а на тех изменениях, которые должны происходить после того, как непосредственная цель конкретного социального проекта будет достигнута. Так что использование ЦУР как «рамки» для анализа социального эффекта позволяет обеспечить фокусировку проекта на конкретной цели, не теряя при этом из виду того, что позитивные социальные изменения от проекта могут быть значительно шире.


четверг, 16 марта 2017 г.

Право на вторую попытку

Прочитала сегодня любопытную статью Томаса Гаски о том, как использовать проверочные задания, один из основных способов оценки результатов обучения в школе, чтобы улучшить результаты обучения для учеников (Thomas R. Guskey (2003). How Classroom Assessment Improve Learning).

Гаски пишет, что полезные проверочные задания должны быть знакомыми для учеников и проверять наличие знаний и навыков, развитию которых учитель уделял на занятиях особое внимание.

Проверочные задания должны помогать учителю совершенствовать свою работу. При этом, как отмечает Гаски, чтобы получить полезную информацию, совершенно не обязательно подвергать результаты выполнения задания сложному статистическому анализу. Если половина учеников не справилась с каким-то вопросом и заданием, значит, проблема не в том, что они плохо готовились, а в том, как им преподали данную тему.

Гаски также отмечает, что главная цель проверочных заданий – не столько вынести суждение об уровне знаний ученика, сколько понять, каких знаний и навыков ученику не хватает, чтобы учитель мог восполнить эти проблемы с помощью дополнительных занятий.

И, наконец, важно дать ученику шанс повторно выполнить задание, если он не справился с ним в первый раз, чтобы он мог продемонстрировать, что добился успеха. «Разве можно найти навык обучения лучше, чем умение учиться на собственных ошибках? Ошибка может стать отправной точкой для обучения. Ряд специалистов в области образовательного оценивания утверждает, что, если ученик успешно справился с проверочным заданием, он не приобретает никаких новых знаний и навыков. Напротив, если с первого раза справиться с заданием не удалось, обучение проходит эффективнее, потому что ученик понимает, в каком направлении двигаться, чтобы добиться лучшего результата», - пишет Гаски.

Я попыталась «примерить» идеи Гаски к своему опыту проведения оценки проектов. Один из самых болезненных моментов при проведении итоговой оценки – когда выясняется, что в ходе проекта что-то не получилось. Думаю, это в значительной мере связано с тем, что у исполнителей нет второго шанса выполнить проект еще раз и все-таки добиться успеха. Мораль? Думаю в том, что промежуточная оценка полезнее итоговой, потому что по ее итогам исполнители проекта могут выполнить работу над ошибками.

вторник, 29 ноября 2016 г.

Индикатор: количественный или качественный?

Читаю, как оценка используется в системе образования в Новой Зеландии. Попалось отличное объяснение, когда нужно использовать количественные индикаторы, а когда качественные:

«Выбор индикатора зависит от того, с какой целью он будет применяться.

В целях контроля обычно используют количественные индикаторы, например, оценки в баллах или места в рейтинге. Но сами по себе количественные данные не отражают реальной многогранности работы школы и жизни в окружающем ее сообществе, поэтому их сложно использовать для улучшения работы школы.

Если цель – улучшение, индикаторы должны быть качественными. И чтобы использовать их эффективно, необходимо глубокое понимание теории изменений, важно регулярно переосмысливать собранные данные, и нужно развивать потенциал всех участников процесса оценки».

вторник, 28 июля 2015 г.

Виды влияния

Английское “impact” переводится как влияние или воздействие. Impact – это то, к чему стремятся организации, программы и проекты, пытающиеся решить социальные и экологические проблемы, и поддерживающие их доноры. При этом единого определения, что такое “impact” до сих пор нет. Кто-то определяет влияние своей организации, программы или проекта как непосредственные изменения, возникающие в результате работы, кто-то – как долгосрочные опосредованные результаты.

Роб ван ден Берг, который много лет возглавлял офис оценки Глобального экологического фонда, решил взглянуть на “impact” – влияние с точки зрения того, каков характер этого влияния. Он предложил выделять следующие виды влияния:
  • Прямое влияние: деятельность организации, программы или проекта создает изменения, запуская цепочку связанных друг с другом результатов. (Для описания этой цепочки часто используют метафору падающих косточек домино.) Например, программа знакомит врачей с новой моделью обслуживания людей с хроническими заболеваниями, врачи ее используют, что приводит к позитивным изменениям в жизни их пациентов.
  • Каталитическое влияние: деятельность организации, программы или проекта или ее результаты являются катализатором, который позволяет другой организации, программе или проекту добиться результатов. Например, одна организация, программа или проект создает открытую базу данных эффективных практик в какой-то области. Другая организация, программа или проект использует какие-то из этих практик в своей работе и получает результаты.
  • Влияние на среду – создание благоприятных условий: организация, программа или проект меняют условия среды, благодаря чему другие организации, программы или проекты получают возможность достигать своих ожидаемых результатов. Например, в результате адвокационной кампании происходят изменения в законодательстве. Это создает условия, в которых могут быть успешно реализованы программы и проекты, которые не могли бы реализованы ранее.


пятница, 4 июля 2014 г.

Модель развивающих отношений

Одна из главных проблем, с которой мне приходится сталкиваться как специалисту по оценке, - низкий уровень операционализации ожидаемых результатов в оцениваемых программах и проектах. Поэтому я собираю модели, которые описывают какие-либо социальные явления так, чтобы эти явления можно было бы относительно объективно измерить. Под «объективным измерением» я в данном случае имею в виду, что несколько человек, которые будут наблюдать что-то, смогут прийти к схожим выводам относительно того, обладает объект наблюдения теми или иными характеристиками или нет.

«Свежая» модель в моей копилке – модель развивающих отношений (developmental relations) от Search Institute. Развивающими специалисты Search Institute называют отношения, которые помогают ребенку реализовать свой потенциал и добиться успеха в жизни. Исследования Search Institute показали, что такие отношения у ребенка должны быть как со взрослыми, так и с другими детьми.

Любопытно, что модель описана с позиции ребенка: как он видит отношения с другим человеком. Модель разделена на категории, и для каждой категории приведены характеристики отношений между ребенком и каким-то другим человеком.

Вот мой перевод модели, с оригиналом можно познакомиться на сайте Search Institute.

Категория
Характеристики отношений
Забота:
Дайте мне понять, что вы любите меня и хотите для меня лучшего.
·         Уделяйте мне внимание, когда я нахожусь рядом с вами.
·         Давайте мне понять, что вам нравится мое общество, и вы испытываете ко мне добрые чувства.
·         Тратьте силы и время на меня и для меня.
·         Старайтесь понять, кто я, и что мне важно.
·         Я могу на вам положиться и доверять вам.
Высокие ожидания:
Настаивайте, чтобы я постоянно рос и развивался.
·         Помогите мне увидеть возможности для роста.
·         Дайте мне ясно понять, что вы хотите, чтобы я полностью реализовал свой потенциал.
·         Адекватно оценивайте мои желания и способности, но при этом постоянно заставляйте меня развивать их.
·         Требуйте от меня соблюдения определенных норм и правил.
Поддержка:
Помогайте мне достигать моих целей.
·         Хвалите меня за усилия и достижения.
·         Помогайте мне учиться словом и делом.
·         Будьте для меня образцом для подражания, которым бы я мог восхищаться.
·         Вставайте на мою защиту, когда мне это нужно.
Партнерские отношения:
Прислушивайтесь к моему мнению при принятии решений.

·         Относитесь ко мне серьезно, обходитесь со мной справедливо.
·         Учитывайте мое мнение при принятии решений.
·         Учитывайте мои интересы, потребности и способности.
·         Привлекайте меня к решению проблем.
Широкие горизонты:
Помогите мне шире смотреть на вещи и видеть открывающиеся возможности.
·         Помогайте мне узнавать новое: идеи, места, практики.
·         Знакомьте меня с людьми, которые помогут мне развиваться.
·         Помогите мне преодолевать препятствия на пути к моим целям.