Тише едешь, дальше будешь

Сегодня в блоге Американской ассоциации оценки Ким Норрис, координатор по оценке программы дополнительного обучения для взрослых Университета Мэрилэнда, поделился своим опытом создания культуры оценки в организации. Меня больше всего впечатлил прилагаемый в качестве образца план работы, рассчитанный на ВОСЕМЬ лет. Я перевела план за первые пять лет (потому что дальше стали появляться какие-то загадочные аббревиатуры), но и это дает возможность почувствовать, насколько плавно, по мнению Норриса, должно происходить изменение культуры организации и внедрение в нее элементов оценки.

Год	Вновь вводимые элементы культуры оценки	Элементы культуры оценки, внедрение которых продолжается	Плюсы для сотрудников от внедрения культуры оценки	Формы участия сотрудников в проведении оценки
1	Подготовка сотрудников к изменениям	Разработка и апробация системы оценки	Упрощение документооборота Уменьшение объема расчетов, выполняемых вручную	Нет
2	Автоматизация подготовки отчетов – количественные данные относительно процесса работы	Обучение	Сокращение времени работы по предоставлению отчетности	Участвуют в обучении Используют систему автоматизированной подготовки отчетов
3	Индивидуальные описательные отчеты относительно процесса работы (качественная оценка)	Сбор количественных данных Обучение	Люди видят свой прогресс в течение года Есть описание успехов и проблем	Сбор количественных данных относительно процесса работы Подготовка описательных отчетов – по желанию
4	Он-лайновое анкетирование участников программы	Обучение написанию высококачественных описательных отчетов (описание поведенческих изменений)	Данные о результатах программы для участников Использование данных при подготовке публикаций и презентаций	Сбор количественных данных относительно процесса работы Подготовка описательных отчетов – по желанию
5	Использование данных он-лайнового анкетирования при подготовке отчетов о влиянии программы	Отчеты распространяются внутри организации и ее внешним партнерам Обучение для партнеров по сбору и использованию данных	Отчеты помогают укрепить отношения с партнерами Отчеты помогают найти новые направления работы Данные используются для стратегического планирования	Сбор количественных данных относительно процесса работы Подготовка описательных отчетов – обязательно Сбор данных от участников – по желанию

Подобная плавность проистекает из того, что Норрис считает, что при проведении изменений нужно идти от человека и дать сотрудникам достаточно времени для адаптации к новым условиям работы. Он предлагает следующие шесть принципов (правда, почему-то называет их шагами) создания культуры оценки в организации:

1. Ориентируйтесь на сотрудников и их мнение. Обсуждайте с людьми, чего они ожидают от предлагаемых изменений, какие видят плюсы, чего опасаются. Такое общение должно быть постоянным, чтобы скорость изменений оставалась комфортной для коллектива.
2. Старайтесь, чтобы пользу от внедрения культуры оценки получила не только организация, но и сотрудники. Изменения могут вести к увеличению объема работы для сотрудников, поэтому создайте и используйте систему моральных и иных стимулов, которые будут компенсировать увеличение нагрузки. Например, это может быть возможность приобрести новые навыки и добавить их в резюме.
3. Привлекайте сотрудников к разработке плана внедрения изменений. Старайтесь, чтобы элементы культуры оценки, которые увеличивают нагрузку на сотрудников, и те, которые дают им дополнительную выгоду, внедрялись параллельно.
4. Предоставьте сотрудникам обучение и удобные инструменты сбора данных. Он-лайновые системы сбора информации должны быть простыми и интуитивными. Но все равно предоставьте людям обучение по их использованию. Дайте сотрудникам достаточно времени на обучение. Практика показывает, что хорошо работают короткие он-лайновые обучающие модули.
5. Вводите новые требования к сотрудникам постепенно. Если выполнение какой-то работы не будет обязательным, высока вероятность, что ее не будут делать. Но если сразу обязать людей делать много нового, они могут начать сопротивляться. Поэтому внедряйте не более одного-двух новых оценочных механизмов в год. Например, в первый год сотрудникам нужно будет начать писать текстовые отчеты; на следующий год – начать использовать инструменты сбора количественной информации, и т.п. Загодя информируйте людей о новых требованиях, обеспечьте им обучение и систему поддержки. Регулярно оценивайте, насколько сотрудниками удобно использовать новые механизмы.
6. Делитесь историями успеха и поощряйте сотрудников за хорошую работу. Сотрудники должны знать, как «выглядит» правильное и успешное использование оценочных механизмов, поэтому регулярно и как можно шире распространяйте и обсуждайте удачный опыт и наработки.

Семинар «Оценка с использованием оценочных шкал»

На следующей неделе перед началом конференции IPEN в Астане проведу семинар по оценке, основанной на использовании оценочных шкал. Ниже - краткое описание семинара:

Можно выделить два подхода к оценке. Один предполагает, что в результате оценки должна быть получена информация, необходимая для принятий тех или иных решений относительно программы. (По умолчанию предполагается, что лица, принимающие эти решения, на основании представленной информации сами вынесут суждение о ценности программы, например, хорошая она или плохая.) Согласно другому, суждение о ценности программы и отдельных ее компонентов должно быть вынесено в процессе оценки.

В рамках этого второго подхода новозеландский специалист по оценке Джейн Дэвидсон разработала методологию проведения оценки, основанную на использовании оценочных шкал. Оценочная шкала представляет собой набор описаний различных уровней ценности того или иного аспекта программы, например, в каком случае можно будет считать какой-то результат программы хорошим, удовлетворительным или плохим.

Методология включает следующие этапы:

1. Формулирование вопросов оценки, ответ на которые предполагает вынесение ценностных суждений.
2. Разработку оценочных шкал.
3. Определение того, какие данные нужно собрать.
4. Сбор информации.
5. Вынесение оценочных суждений.
6. Подготовка отчета.

Программа семинара:

• Введение.
• Как сформулировать вопросы оценки так, чтобы ответы на них требовали вынесения оценочных суждений.
• Теория программы как основа для определения вопросов оценки. Технология описания теории изменений. Теории изменений – в общем виде – для различных типов программ.
• Технология разработки оценочной шкалы.
• Определение потребности в данных на основании оценочных шкал.
• Подходы к написанию отчета.

«Доктор» для программы

Хочу поделиться любопытным замечанием относительно того, что такое оценка, которое недавно сделал американский коллега Борис Волков, занимающийся оценкой программ в области здравоохранения (в моем переводе):

«По моим наблюдениям многие организации и программы воспринимают оценку не как аналитическое упражнение, а как операцию на мозге, причем без анестезии. Для них оценка – это загадочный, пугающий или потенциально болезненный процесс, который может вызывать осложнения или даже привести к «смерти» программы… Я думаю, что работа специалиста по оценке имеет много общего с работой врача: мы оцениваем, ставим диагноз и даем рекомендации относительно программ, а врачи – относительно здоровья пациентов».

Теория изменений

Придумала, как объяснять, чем действия по проекту отличаются от результатовJ

Есть некий проект, конечная цель которого - превратить козу в волка.

	Действие	Результат
1	В слове КОЗА заменить букву К на букву П, получится	ПОЗА
2	В слове ПОЗА заменить букву З на букву Л, получится	ПОЛА
3	В слове ПОЛА заменить букву А на букву К, получится	ПОЛК
4	В слове ПОЛК заменить букву П на букву В, получится	ВОЛК

Что такое счастье? – 2

Продолжаю делиться своей коллекцией удачных примеров концептуализации благородных целей. В 1990-е американский Search Institute задался вопросом, что нужно, чтобы дети росли, не создавая проблем себе и окружающим. Специалисты института определи 40 факторов (или активов), присутствие которых помогает детям расти здоровыми и ответственными. В таблице приведен официальный перевод базового варианта списка факторов (не идеальный, но понятный, поэтому я не стала править). На сайте института есть варианты списков, адаптированные к различным возрастным группам (3-5, 5-9, 9-12 и 12-18 лет), правда, пока только на английском и испанском языках.

	Категория	Факторы и их характеристика
В Н Е Ш Н И Е Ф А К Т О Р Ы	Поддержка	1.     Поддержка семьи – Семейная жизнь дарит любовь и поддержку. 2.     Позитивное общение в семье – Молодой человек и его родители общаются позитивно; он или она готовы обращаться к родителям за советом. 3.     Общение с другими взрослыми – Молодой человек получает поддержку от трех или более взрослых, которые не являются его родителями. 4.     Заботливое окружение соседей – Ребенок приобретает опыт общения с заботливыми соседями. 5.     Благоприятный школьный климат – Школа проявляет заботу и создает стимулирующую обстановку. 6.     Участие родителей в учебном процессе – Родители активно помогают добиться успехов в школе.
	Передача полномочий	7.     Общественность ценит молодежь – Молодой человек понимает, что взрослые ценят молодежь. 8.     Молодежь как ресурс – Молодым людям отводится важная роль в обществе. 9.     Оказание помощи другим – Молодой человек занимается общественной работой один час или более в неделю. 10.   Безопасность – Молодые люди чувствуют себя безопасно дома, в школе и на улице.
	Ограничения и Ожидания	11.   Ограничения в семье – В семье установлены правила и последствия за их неисполнение. Семья знает, чем занят их ребенок. 12.   Ограничения в школе – Школа устанавливает правила и последствия за их нарушение. 13.   Ограничения в жилом районе – Соседи берут ответственность на себя смотреть за поведением молодых людей. 14.   Пример взрослых -  Родители и другие взрослые демонстрируют позитивное и ответственное поведение. 15.   Положительное влияние сверстников – Самые близкие друзья являются образцом в поведении. 16.   Высокие ожидания -  Родители и учителя поощряют стремление молодых людей к успехам.
	Творческое использование времени	17.   Занятия творчеством – Молодые люди посвящают три часа и больше в неделю занятиям музыкой, другим видам искусства, посещают театр. 18.   Молодежные программы – Молодые люди проводят три часа и больше в неделю, занимаясь спортом, участвуя в работе кружков, школьных и других общественных организаций. 19.   Религиозное окружение – Молодые люди проводят час или больше в неделю в религиозном учреждении. 20.   Домашнее время – Молодые люди проводят несколько вечеров в неделю с друзьями.
В Н У Т Р Е Н Н И Е Ф А К Т О Р Ы	Обязательства в учебе	21.   Мотивация к достижениям – Молодой человек стремится преуспевать в школе. 22.   Вовлеченность – Молодые люди принимают активное участие в учебном процессе. 23.   Домашнее задание – Молодые люди тратят не меньше часа на выполнение домашнего задания в день. 24.   Привязанность к школе – Молодые люди проявляют заботу о своей школе. 25.   Чтение для удовольствия – Молодые люди с удовольствием проводят время за чтением книг не менее трех часов в неделю.
	Позитивные ценности	26.   Попечение – Молодые люди придают большое значение заботе о других. 27.   Равенство и социальная справедливость – Молодые люди отстаивают равноправие и снижение уровня бедности. 28.   Целостность – Молодые люди действуют согласно своим взглядам и отстаивают свои убеждения. 29.   Честность – Молодые люди «говорят правду, даже если это нелегко». 30.   Ответственность – Молодые люди принимают на себя и несут персональную ответственность. 31.   Ограничение – Молодые люди понимают, что это очень важно не вступать в добрачные половые связи, не употреблять алкоголь и наркотики.
	Социальное воспитание	32.   Планирование и принятие решений – Молодые люди знают, как планировать наперед и делать выбор. 33.   Межличностное общение – Молодые люди умеют сопереживать, сочувствовать и дружить. 34.   Межкультурное общение – Молодые люди имеют навыки общения с людьми различного культурного/расового/этнического происхождения. 35.   Умение противостоять – Молодые люди способны противостоять негативному давлению сверстников и избегать негативные ситуации. 36.   Решение конфликтов мирным путем – Молодые люди ищут пути мирного урегулирования конфликтов.
	Позитивное восприятие себя	37.   Владение собой – Молодые люди ощущают, что он или она имеет контроль над «тем, что происходит со мной». 38.   Уверенность в себе – Молодые люди демонстрируют уверенность в себе. 39.   Чувство предназначения – Молодые люди осознают, что «моя жизнь имеет цель». 40.   Позитивное видение личного будущего – Молодые люди оптимистичны относительно своего личного будущего.

Исследования, проведенные Search Institute, показали, что чем больше из 40 факторов присутствует в жизни подростка, тем ниже вероятность, что у него будут проблемы с поведением, учебой, курением, употреблением алкоголя и наркотиков и т.п.

Что такое счастье?

В одном старом детском фильме была фраза: «Что такое счастье, каждый понимал по-своему». Я часто вспоминаю ее, когда читаю описания оцениваемых проектов, которые должны укрепить правительство или улучшить потенциал в какой-нибудь области. Как будет выглядеть, например, укрепленное правительство, авторы проектов обычно скромно умалчивают.

Операционализация целей, то есть превращение их в конкретные описания, на основании которых можно проводить измерения (пусть даже и очень примерные), - ахиллесова пята очень многих проектов. Поэтому я всегда радуюсь, когда в литературе встречаю удачные примеры операционализации различных высоких целей. У меня уже накопилась небольшая коллекция, которой я и хочу поделиться.

Начну со списка ключевых компетенций, который был создан в рамках проекта Совета Европы «Среднее образования в Европе». Создатели списка задались вопросом, как должен «выглядеть» выпускник школы, у которого есть шанс на успех во взрослой жизни. И решили, что в идеале к моменту окончания школы молодой человек должен уметь:

·         Учиться:

-          извлекать уроки из опыта;

-          систематизировать свои знания;

-          заниматься самообразованием;

-          решать задачи.

·         Находить информацию:

-          проводить поиск информации в базах данных;

-          консультироваться со знакомыми и друзьями;

-          консультироваться у экспертов;

-          работать с документами, в том числе оцениваться достоверность содержащейся в них информации.

·         Думать:

-          соотносить прошлые и настоящие события;

-          анализировать различные аспекты развития общества;

-          работать со сложными проблемами в условиях неопределенности и неполноты данных;

-          занимать позицию в дискуссиях и выковывать собственное мнение;

-          понимать, как политическая и экономическая ситуация влияет на жизнь отдельных людей;

-          оценивать, как те или иные привычки и модели поведения влияют на здоровье человека, его уровень жизни, а также на окружающую среду;

-          оценивать произведения искусства и литературы.

·         Сотрудничать:

-          работать в группе;

-          принимать решения;

-          улаживать разногласия и конфликты;

-          договариваться с другими людьми;

-          выполнять договоренности.

·         Приниматься за дело:

-          включаться в проект;

-          нести ответственность;

-          войти в группу или коллектив и внести свой вклад;

-          доказать свою приверженность общему делу;

-          организовывать свою работу;

-          пользоваться вычислительными и моделирующими приборами.

·         Адаптироваться:

-          использовать современные информационные технологии;

-          приспосабливаться к быстро меняющимся условиям;

-          искать альтернативные пути решений возникающих проблем.

Мне про этот список в свое время рассказала учительница, которая участвовала в одном их оцениваемых проектов. И я использовала его, чтобы оценить, насколько изменились школьники в результате участия в проекте. Мы собрали учителей из разных школ, я раздала им этот список и попросила отметить те компетенции, которые, по их мнению, появились у их учеников. Ответы у всех получились очень близкие, что говорит, что разные люди интерпретируют описания компетенций примерно одинаково, так что их можно использовать при создании измерительных инструментов для оценки. Соответственно, данный список компетенций можно считать удачной операционализацией цели: «Дать детям шанс на успех во взрослой жизни».