Семинар «Оценка с использованием оценочных шкал»

На следующей неделе перед началом конференции IPEN в Астане проведу семинар по оценке, основанной на использовании оценочных шкал. Ниже - краткое описание семинара:

Можно выделить два подхода к оценке. Один предполагает, что в результате оценки должна быть получена информация, необходимая для принятий тех или иных решений относительно программы. (По умолчанию предполагается, что лица, принимающие эти решения, на основании представленной информации сами вынесут суждение о ценности программы, например, хорошая она или плохая.) Согласно другому, суждение о ценности программы и отдельных ее компонентов должно быть вынесено в процессе оценки.

В рамках этого второго подхода новозеландский специалист по оценке Джейн Дэвидсон разработала методологию проведения оценки, основанную на использовании оценочных шкал. Оценочная шкала представляет собой набор описаний различных уровней ценности того или иного аспекта программы, например, в каком случае можно будет считать какой-то результат программы хорошим, удовлетворительным или плохим.

Методология включает следующие этапы:

1. Формулирование вопросов оценки, ответ на которые предполагает вынесение ценностных суждений.
2. Разработку оценочных шкал.
3. Определение того, какие данные нужно собрать.
4. Сбор информации.
5. Вынесение оценочных суждений.
6. Подготовка отчета.

Программа семинара:

• Введение.
• Как сформулировать вопросы оценки так, чтобы ответы на них требовали вынесения оценочных суждений.
• Теория программы как основа для определения вопросов оценки. Технология описания теории изменений. Теории изменений – в общем виде – для различных типов программ.
• Технология разработки оценочной шкалы.
• Определение потребности в данных на основании оценочных шкал.
• Подходы к написанию отчета.

«Доктор» для программы

Хочу поделиться любопытным замечанием относительно того, что такое оценка, которое недавно сделал американский коллега Борис Волков, занимающийся оценкой программ в области здравоохранения (в моем переводе):

«По моим наблюдениям многие организации и программы воспринимают оценку не как аналитическое упражнение, а как операцию на мозге, причем без анестезии. Для них оценка – это загадочный, пугающий или потенциально болезненный процесс, который может вызывать осложнения или даже привести к «смерти» программы… Я думаю, что работа специалиста по оценке имеет много общего с работой врача: мы оцениваем, ставим диагноз и даем рекомендации относительно программ, а врачи – относительно здоровья пациентов».

Теория изменений

Придумала, как объяснять, чем действия по проекту отличаются от результатовJ

Есть некий проект, конечная цель которого - превратить козу в волка.

	Действие	Результат
1	В слове КОЗА заменить букву К на букву П, получится	ПОЗА
2	В слове ПОЗА заменить букву З на букву Л, получится	ПОЛА
3	В слове ПОЛА заменить букву А на букву К, получится	ПОЛК
4	В слове ПОЛК заменить букву П на букву В, получится	ВОЛК

Что такое счастье? – 2

Продолжаю делиться своей коллекцией удачных примеров концептуализации благородных целей. В 1990-е американский Search Institute задался вопросом, что нужно, чтобы дети росли, не создавая проблем себе и окружающим. Специалисты института определи 40 факторов (или активов), присутствие которых помогает детям расти здоровыми и ответственными. В таблице приведен официальный перевод базового варианта списка факторов (не идеальный, но понятный, поэтому я не стала править). На сайте института есть варианты списков, адаптированные к различным возрастным группам (3-5, 5-9, 9-12 и 12-18 лет), правда, пока только на английском и испанском языках.

	Категория	Факторы и их характеристика
В Н Е Ш Н И Е Ф А К Т О Р Ы	Поддержка	1.     Поддержка семьи – Семейная жизнь дарит любовь и поддержку. 2.     Позитивное общение в семье – Молодой человек и его родители общаются позитивно; он или она готовы обращаться к родителям за советом. 3.     Общение с другими взрослыми – Молодой человек получает поддержку от трех или более взрослых, которые не являются его родителями. 4.     Заботливое окружение соседей – Ребенок приобретает опыт общения с заботливыми соседями. 5.     Благоприятный школьный климат – Школа проявляет заботу и создает стимулирующую обстановку. 6.     Участие родителей в учебном процессе – Родители активно помогают добиться успехов в школе.
	Передача полномочий	7.     Общественность ценит молодежь – Молодой человек понимает, что взрослые ценят молодежь. 8.     Молодежь как ресурс – Молодым людям отводится важная роль в обществе. 9.     Оказание помощи другим – Молодой человек занимается общественной работой один час или более в неделю. 10.   Безопасность – Молодые люди чувствуют себя безопасно дома, в школе и на улице.
	Ограничения и Ожидания	11.   Ограничения в семье – В семье установлены правила и последствия за их неисполнение. Семья знает, чем занят их ребенок. 12.   Ограничения в школе – Школа устанавливает правила и последствия за их нарушение. 13.   Ограничения в жилом районе – Соседи берут ответственность на себя смотреть за поведением молодых людей. 14.   Пример взрослых -  Родители и другие взрослые демонстрируют позитивное и ответственное поведение. 15.   Положительное влияние сверстников – Самые близкие друзья являются образцом в поведении. 16.   Высокие ожидания -  Родители и учителя поощряют стремление молодых людей к успехам.
	Творческое использование времени	17.   Занятия творчеством – Молодые люди посвящают три часа и больше в неделю занятиям музыкой, другим видам искусства, посещают театр. 18.   Молодежные программы – Молодые люди проводят три часа и больше в неделю, занимаясь спортом, участвуя в работе кружков, школьных и других общественных организаций. 19.   Религиозное окружение – Молодые люди проводят час или больше в неделю в религиозном учреждении. 20.   Домашнее время – Молодые люди проводят несколько вечеров в неделю с друзьями.
В Н У Т Р Е Н Н И Е Ф А К Т О Р Ы	Обязательства в учебе	21.   Мотивация к достижениям – Молодой человек стремится преуспевать в школе. 22.   Вовлеченность – Молодые люди принимают активное участие в учебном процессе. 23.   Домашнее задание – Молодые люди тратят не меньше часа на выполнение домашнего задания в день. 24.   Привязанность к школе – Молодые люди проявляют заботу о своей школе. 25.   Чтение для удовольствия – Молодые люди с удовольствием проводят время за чтением книг не менее трех часов в неделю.
	Позитивные ценности	26.   Попечение – Молодые люди придают большое значение заботе о других. 27.   Равенство и социальная справедливость – Молодые люди отстаивают равноправие и снижение уровня бедности. 28.   Целостность – Молодые люди действуют согласно своим взглядам и отстаивают свои убеждения. 29.   Честность – Молодые люди «говорят правду, даже если это нелегко». 30.   Ответственность – Молодые люди принимают на себя и несут персональную ответственность. 31.   Ограничение – Молодые люди понимают, что это очень важно не вступать в добрачные половые связи, не употреблять алкоголь и наркотики.
	Социальное воспитание	32.   Планирование и принятие решений – Молодые люди знают, как планировать наперед и делать выбор. 33.   Межличностное общение – Молодые люди умеют сопереживать, сочувствовать и дружить. 34.   Межкультурное общение – Молодые люди имеют навыки общения с людьми различного культурного/расового/этнического происхождения. 35.   Умение противостоять – Молодые люди способны противостоять негативному давлению сверстников и избегать негативные ситуации. 36.   Решение конфликтов мирным путем – Молодые люди ищут пути мирного урегулирования конфликтов.
	Позитивное восприятие себя	37.   Владение собой – Молодые люди ощущают, что он или она имеет контроль над «тем, что происходит со мной». 38.   Уверенность в себе – Молодые люди демонстрируют уверенность в себе. 39.   Чувство предназначения – Молодые люди осознают, что «моя жизнь имеет цель». 40.   Позитивное видение личного будущего – Молодые люди оптимистичны относительно своего личного будущего.

Исследования, проведенные Search Institute, показали, что чем больше из 40 факторов присутствует в жизни подростка, тем ниже вероятность, что у него будут проблемы с поведением, учебой, курением, употреблением алкоголя и наркотиков и т.п.

Что такое счастье?

В одном старом детском фильме была фраза: «Что такое счастье, каждый понимал по-своему». Я часто вспоминаю ее, когда читаю описания оцениваемых проектов, которые должны укрепить правительство или улучшить потенциал в какой-нибудь области. Как будет выглядеть, например, укрепленное правительство, авторы проектов обычно скромно умалчивают.

Операционализация целей, то есть превращение их в конкретные описания, на основании которых можно проводить измерения (пусть даже и очень примерные), - ахиллесова пята очень многих проектов. Поэтому я всегда радуюсь, когда в литературе встречаю удачные примеры операционализации различных высоких целей. У меня уже накопилась небольшая коллекция, которой я и хочу поделиться.

Начну со списка ключевых компетенций, который был создан в рамках проекта Совета Европы «Среднее образования в Европе». Создатели списка задались вопросом, как должен «выглядеть» выпускник школы, у которого есть шанс на успех во взрослой жизни. И решили, что в идеале к моменту окончания школы молодой человек должен уметь:

·         Учиться:

-          извлекать уроки из опыта;

-          систематизировать свои знания;

-          заниматься самообразованием;

-          решать задачи.

·         Находить информацию:

-          проводить поиск информации в базах данных;

-          консультироваться со знакомыми и друзьями;

-          консультироваться у экспертов;

-          работать с документами, в том числе оцениваться достоверность содержащейся в них информации.

·         Думать:

-          соотносить прошлые и настоящие события;

-          анализировать различные аспекты развития общества;

-          работать со сложными проблемами в условиях неопределенности и неполноты данных;

-          занимать позицию в дискуссиях и выковывать собственное мнение;

-          понимать, как политическая и экономическая ситуация влияет на жизнь отдельных людей;

-          оценивать, как те или иные привычки и модели поведения влияют на здоровье человека, его уровень жизни, а также на окружающую среду;

-          оценивать произведения искусства и литературы.

·         Сотрудничать:

-          работать в группе;

-          принимать решения;

-          улаживать разногласия и конфликты;

-          договариваться с другими людьми;

-          выполнять договоренности.

·         Приниматься за дело:

-          включаться в проект;

-          нести ответственность;

-          войти в группу или коллектив и внести свой вклад;

-          доказать свою приверженность общему делу;

-          организовывать свою работу;

-          пользоваться вычислительными и моделирующими приборами.

·         Адаптироваться:

-          использовать современные информационные технологии;

-          приспосабливаться к быстро меняющимся условиям;

-          искать альтернативные пути решений возникающих проблем.

Мне про этот список в свое время рассказала учительница, которая участвовала в одном их оцениваемых проектов. И я использовала его, чтобы оценить, насколько изменились школьники в результате участия в проекте. Мы собрали учителей из разных школ, я раздала им этот список и попросила отметить те компетенции, которые, по их мнению, появились у их учеников. Ответы у всех получились очень близкие, что говорит, что разные люди интерпретируют описания компетенций примерно одинаково, так что их можно использовать при создании измерительных инструментов для оценки. Соответственно, данный список компетенций можно считать удачной операционализацией цели: «Дать детям шанс на успех во взрослой жизни».

Индикаторы для оценки процесса реализации программы

Прочитала тут статью, посвященную оценке процесса в программах в области здравоохранения. В ней предлагается очень, на мой взгляд, удачная система индикаторов процесса, которую можно использовать для программы в любой области.

Система следующая:

Индикатор	Что измеряет
Reach - Охват	Доля целевой группы, которая балы охвачена программой или каким-то видом деятельности в рамках программы. Для разных целевых групп измерять нужно отдельно.
Dose delivered – «Доза» (количество) оказанного воздействия	Этот индикатор измеряет количество воздействия, которое программа оказала на того или иного участника. Например, одного человека пригласили участвовать в одном семинаре, а другого – в трех.
Dose received – «Доза» (количество) воспринятого воздействия	Этот индикатор измеряет, насколько участник программы со своей стороны приложил усилия, чтобы программа оказала на наго воздействие. Например, программа может привезти человека на семинар, но не придет ни на одно занятие. Соответственного, «доза» воспринятого воздействия будет равна 0.
Fidelity – Степень соответствия воздействия замыслу или стандарту	Индикатор должен измерять, насколько фактическое воздействие соответствовало тому, как оно задумано и описано в программной документации. Показатель хитрый, но, думаю, полезный. Например, если в рамках программы проводится несколько одинаковых семинаров, полезно попытаться оценить, насколько они были одинаковыми. Например, соответствовала ли программа каждого из этих семинаров некому утвержденному плану.

Кроме того, в рамках данной системы рекомендуется использовать индикаторы, которые позволят отслеживать изменение условий, в которых реализуется программа, а также индикаторы, отслеживающие процессы привлечения (рекрутирования) участников в программу, например, кто отказался участвовать и почему.