четверг, 16 марта 2017 г.

Право на вторую попытку

Прочитала сегодня любопытную статью Томаса Гаски о том, как использовать проверочные задания, один из основных способов оценки результатов обучения в школе, чтобы улучшить результаты обучения для учеников (Thomas R. Guskey (2003). How Classroom Assessment Improve Learning).

Гаски пишет, что полезные проверочные задания должны быть знакомыми для учеников и проверять наличие знаний и навыков, развитию которых учитель уделял на занятиях особое внимание.

Проверочные задания должны помогать учителю совершенствовать свою работу. При этом, как отмечает Гаски, чтобы получить полезную информацию, совершенно не обязательно подвергать результаты выполнения задания сложному статистическому анализу. Если половина учеников не справилась с каким-то вопросом и заданием, значит, проблема не в том, что они плохо готовились, а в том, как им преподали данную тему.

Гаски также отмечает, что главная цель проверочных заданий – не столько вынести суждение об уровне знаний ученика, сколько понять, каких знаний и навыков ученику не хватает, чтобы учитель мог восполнить эти проблемы с помощью дополнительных занятий.

И, наконец, важно дать ученику шанс повторно выполнить задание, если он не справился с ним в первый раз, чтобы он мог продемонстрировать, что добился успеха. «Разве можно найти навык обучения лучше, чем умение учиться на собственных ошибках? Ошибка может стать отправной точкой для обучения. Ряд специалистов в области образовательного оценивания утверждает, что, если ученик успешно справился с проверочным заданием, он не приобретает никаких новых знаний и навыков. Напротив, если с первого раза справиться с заданием не удалось, обучение проходит эффективнее, потому что ученик понимает, в каком направлении двигаться, чтобы добиться лучшего результата», - пишет Гаски.

Я попыталась «примерить» идеи Гаски к своему опыту проведения оценки проектов. Один из самых болезненных моментов при проведении итоговой оценки – когда выясняется, что в ходе проекта что-то не получилось. Думаю, это в значительной мере связано с тем, что у исполнителей нет второго шанса выполнить проект еще раз и все-таки добиться успеха. Мораль? Думаю в том, что промежуточная оценка полезнее итоговой, потому что по ее итогам исполнители проекта могут выполнить работу над ошибками.

вторник, 29 ноября 2016 г.

Индикатор: количественный или качественный?

Читаю, как оценка используется в системе образования в Новой Зеландии. Попалось отличное объяснение, когда нужно использовать количественные индикаторы, а когда качественные:

«Выбор индикатора зависит от того, с какой целью он будет применяться.

В целях контроля обычно используют количественные индикаторы, например, оценки в баллах или места в рейтинге. Но сами по себе количественные данные не отражают реальной многогранности работы школы и жизни в окружающем ее сообществе, поэтому их сложно использовать для улучшения работы школы.

Если цель – улучшение, индикаторы должны быть качественными. И чтобы использовать их эффективно, необходимо глубокое понимание теории изменений, важно регулярно переосмысливать собранные данные, и нужно развивать потенциал всех участников процесса оценки».

вторник, 28 июля 2015 г.

Виды влияния

Английское “impact” переводится как влияние или воздействие. Impact – это то, к чему стремятся организации, программы и проекты, пытающиеся решить социальные и экологические проблемы, и поддерживающие их доноры. При этом единого определения, что такое “impact” до сих пор нет. Кто-то определяет влияние своей организации, программы или проекта как непосредственные изменения, возникающие в результате работы, кто-то – как долгосрочные опосредованные результаты.

Роб ван ден Берг, который много лет возглавлял офис оценки Глобального экологического фонда, решил взглянуть на “impact” – влияние с точки зрения того, каков характер этого влияния. Он предложил выделять следующие виды влияния:
  • Прямое влияние: деятельность организации, программы или проекта создает изменения, запуская цепочку связанных друг с другом результатов. (Для описания этой цепочки часто используют метафору падающих косточек домино.) Например, программа знакомит врачей с новой моделью обслуживания людей с хроническими заболеваниями, врачи ее используют, что приводит к позитивным изменениям в жизни их пациентов.
  • Каталитическое влияние: деятельность организации, программы или проекта или ее результаты являются катализатором, который позволяет другой организации, программе или проекту добиться результатов. Например, одна организация, программа или проект создает открытую базу данных эффективных практик в какой-то области. Другая организация, программа или проект использует какие-то из этих практик в своей работе и получает результаты.
  • Влияние на среду – создание благоприятных условий: организация, программа или проект меняют условия среды, благодаря чему другие организации, программы или проекты получают возможность достигать своих ожидаемых результатов. Например, в результате адвокационной кампании происходят изменения в законодательстве. Это создает условия, в которых могут быть успешно реализованы программы и проекты, которые не могли бы реализованы ранее.


пятница, 4 июля 2014 г.

Модель развивающих отношений

Одна из главных проблем, с которой мне приходится сталкиваться как специалисту по оценке, - низкий уровень операционализации ожидаемых результатов в оцениваемых программах и проектах. Поэтому я собираю модели, которые описывают какие-либо социальные явления так, чтобы эти явления можно было бы относительно объективно измерить. Под «объективным измерением» я в данном случае имею в виду, что несколько человек, которые будут наблюдать что-то, смогут прийти к схожим выводам относительно того, обладает объект наблюдения теми или иными характеристиками или нет.

«Свежая» модель в моей копилке – модель развивающих отношений (developmental relations) от Search Institute. Развивающими специалисты Search Institute называют отношения, которые помогают ребенку реализовать свой потенциал и добиться успеха в жизни. Исследования Search Institute показали, что такие отношения у ребенка должны быть как со взрослыми, так и с другими детьми.

Любопытно, что модель описана с позиции ребенка: как он видит отношения с другим человеком. Модель разделена на категории, и для каждой категории приведены характеристики отношений между ребенком и каким-то другим человеком.

Вот мой перевод модели, с оригиналом можно познакомиться на сайте Search Institute.

Категория
Характеристики отношений
Забота:
Дайте мне понять, что вы любите меня и хотите для меня лучшего.
·         Уделяйте мне внимание, когда я нахожусь рядом с вами.
·         Давайте мне понять, что вам нравится мое общество, и вы испытываете ко мне добрые чувства.
·         Тратьте силы и время на меня и для меня.
·         Старайтесь понять, кто я, и что мне важно.
·         Я могу на вам положиться и доверять вам.
Высокие ожидания:
Настаивайте, чтобы я постоянно рос и развивался.
·         Помогите мне увидеть возможности для роста.
·         Дайте мне ясно понять, что вы хотите, чтобы я полностью реализовал свой потенциал.
·         Адекватно оценивайте мои желания и способности, но при этом постоянно заставляйте меня развивать их.
·         Требуйте от меня соблюдения определенных норм и правил.
Поддержка:
Помогайте мне достигать моих целей.
·         Хвалите меня за усилия и достижения.
·         Помогайте мне учиться словом и делом.
·         Будьте для меня образцом для подражания, которым бы я мог восхищаться.
·         Вставайте на мою защиту, когда мне это нужно.
Партнерские отношения:
Прислушивайтесь к моему мнению при принятии решений.

·         Относитесь ко мне серьезно, обходитесь со мной справедливо.
·         Учитывайте мое мнение при принятии решений.
·         Учитывайте мои интересы, потребности и способности.
·         Привлекайте меня к решению проблем.
Широкие горизонты:
Помогите мне шире смотреть на вещи и видеть открывающиеся возможности.
·         Помогайте мне узнавать новое: идеи, места, практики.
·         Знакомьте меня с людьми, которые помогут мне развиваться.
·         Помогите мне преодолевать препятствия на пути к моим целям.

пятница, 21 марта 2014 г.

Язык действий и язык результатов

Читаю книгу нобелевского лауреата Дэниеля Канемана о том, как работает мозг. Канеман пишет, что люди лучше понимают предложения, описывающие, как кто-то совершает некоторое действие. А предложения, описывающие характеристики кого-то или чего-то, воспринимаются сложнее. Возможно, это одна из причин того, с чем мне постоянно приходится сталкиваться как специалисту по оценке. При описании программ и проектов их разработчики уделяют основное внимание действиям, а не ожидаемым результатам. И во время интервью людям говорить о том, что они делали, легче, чем о результатах этих действий. Я думаю, это еще один аргумент в пользу того, чтобы приглашать специалиста по оценке на этапе разработки программ: нас целенаправленно учат говорить на языке результатов, и мы можем помочь разработчикам «перевести» на него описание программы.

четверг, 14 марта 2013 г.

Иллюзия проекта


Сегодня в рассылке Библиотеки KPI (ключевых показателей деятельности) был отличный пост «Иллюзия бизнес-процесса». Автор дает очень удачное, на мой взгляд, определение бизнес-процесса как деятельности, регулируемой правилами и процедурами. А затем отмечает, что бизнес-процессы создают для того, чтобы они давали результаты. И если вы не можете каким-то образом определить (измерить), дает бизнес-процесс результаты или нет, это не бизнес-процесс, а его иллюзия.

То же самое можно сказать и про проекты (и программы). Проект (или программа) – это инструмент получения результата, и если разработчики еще на этапе планирования не определят, как можно будет узнать (измерить), достигнуты результаты проекта или нет, то это будет не проект, а его иллюзия.

вторник, 5 февраля 2013 г.

Комикс про оценку


Вчера на семинаре одна из участниц сказала, что нужны простые короткие материалы, объясняющие, что такое оценка. «Комиксы», - вполголоса прокомментировала моя соседка. И как-то меня зацепило… И вот что получилось.

Есть советский – неполиткорректный – анекдот про полковника и яблоню. Стоит высокая яблоня, вся усыпана яблоками, но с земли их рукой не достать. Чуть поодаль – сарайчик с инвентарем, к нему прислонена высокая лестница. Мимо идет полковник. Видит яблоки и начинает трясти дерево, чтобы они упали. Трясет, трясет, но ничего не выходит. Местный житель какое-то время наблюдает эту картину, потому замечает: «Товарищ полковник, может, подумать?» «Что тут думать, трясти надо!!» - отвечает полковник.


Вот это подумать после того, как что-то поделаешь, и есть оценка. Оценка деятельности – это, по сути, осмысление полученного в ходе этой деятельности опыта и результатов (или их отсутствия).

Если бы я умела рисовать, то на второй картинке полковник, который все-таки согласился подумать, и местный житель сидели бы рядом и разговаривали. А третья – про использование результатов оценки – выглядела бы примерно так: