вторник, 28 июля 2015 г.

Виды влияния

Английское “impact” переводится как влияние или воздействие. Impact – это то, к чему стремятся организации, программы и проекты, пытающиеся решить социальные и экологические проблемы, и поддерживающие их доноры. При этом единого определения, что такое “impact” до сих пор нет. Кто-то определяет влияние своей организации, программы или проекта как непосредственные изменения, возникающие в результате работы, кто-то – как долгосрочные опосредованные результаты.

Роб ван ден Берг, который много лет возглавлял офис оценки Глобального экологического фонда, решил взглянуть на “impact” – влияние с точки зрения того, каков характер этого влияния. Он предложил выделять следующие виды влияния:
  • Прямое влияние: деятельность организации, программы или проекта создает изменения, запуская цепочку связанных друг с другом результатов. (Для описания этой цепочки часто используют метафору падающих косточек домино.) Например, программа знакомит врачей с новой моделью обслуживания людей с хроническими заболеваниями, врачи ее используют, что приводит к позитивным изменениям в жизни их пациентов.
  • Каталитическое влияние: деятельность организации, программы или проекта или ее результаты являются катализатором, который позволяет другой организации, программе или проекту добиться результатов. Например, одна организация, программа или проект создает открытую базу данных эффективных практик в какой-то области. Другая организация, программа или проект использует какие-то из этих практик в своей работе и получает результаты.
  • Влияние на среду – создание благоприятных условий: организация, программа или проект меняют условия среды, благодаря чему другие организации, программы или проекты получают возможность достигать своих ожидаемых результатов. Например, в результате адвокационной кампании происходят изменения в законодательстве. Это создает условия, в которых могут быть успешно реализованы программы и проекты, которые не могли бы реализованы ранее.


пятница, 4 июля 2014 г.

Модель развивающих отношений

Одна из главных проблем, с которой мне приходится сталкиваться как специалисту по оценке, - низкий уровень операционализации ожидаемых результатов в оцениваемых программах и проектах. Поэтому я собираю модели, которые описывают какие-либо социальные явления так, чтобы эти явления можно было бы относительно объективно измерить. Под «объективным измерением» я в данном случае имею в виду, что несколько человек, которые будут наблюдать что-то, смогут прийти к схожим выводам относительно того, обладает объект наблюдения теми или иными характеристиками или нет.

«Свежая» модель в моей копилке – модель развивающих отношений (developmental relations) от Search Institute. Развивающими специалисты Search Institute называют отношения, которые помогают ребенку реализовать свой потенциал и добиться успеха в жизни. Исследования Search Institute показали, что такие отношения у ребенка должны быть как со взрослыми, так и с другими детьми.

Любопытно, что модель описана с позиции ребенка: как он видит отношения с другим человеком. Модель разделена на категории, и для каждой категории приведены характеристики отношений между ребенком и каким-то другим человеком.

Вот мой перевод модели, с оригиналом можно познакомиться на сайте Search Institute.

Категория
Характеристики отношений
Забота:
Дайте мне понять, что вы любите меня и хотите для меня лучшего.
·         Уделяйте мне внимание, когда я нахожусь рядом с вами.
·         Давайте мне понять, что вам нравится мое общество, и вы испытываете ко мне добрые чувства.
·         Тратьте силы и время на меня и для меня.
·         Старайтесь понять, кто я, и что мне важно.
·         Я могу на вам положиться и доверять вам.
Высокие ожидания:
Настаивайте, чтобы я постоянно рос и развивался.
·         Помогите мне увидеть возможности для роста.
·         Дайте мне ясно понять, что вы хотите, чтобы я полностью реализовал свой потенциал.
·         Адекватно оценивайте мои желания и способности, но при этом постоянно заставляйте меня развивать их.
·         Требуйте от меня соблюдения определенных норм и правил.
Поддержка:
Помогайте мне достигать моих целей.
·         Хвалите меня за усилия и достижения.
·         Помогайте мне учиться словом и делом.
·         Будьте для меня образцом для подражания, которым бы я мог восхищаться.
·         Вставайте на мою защиту, когда мне это нужно.
Партнерские отношения:
Прислушивайтесь к моему мнению при принятии решений.

·         Относитесь ко мне серьезно, обходитесь со мной справедливо.
·         Учитывайте мое мнение при принятии решений.
·         Учитывайте мои интересы, потребности и способности.
·         Привлекайте меня к решению проблем.
Широкие горизонты:
Помогите мне шире смотреть на вещи и видеть открывающиеся возможности.
·         Помогайте мне узнавать новое: идеи, места, практики.
·         Знакомьте меня с людьми, которые помогут мне развиваться.
·         Помогите мне преодолевать препятствия на пути к моим целям.

пятница, 21 марта 2014 г.

Язык действий и язык результатов

Читаю книгу нобелевского лауреата Дэниеля Канемана о том, как работает мозг. Канеман пишет, что люди лучше понимают предложения, описывающие, как кто-то совершает некоторое действие. А предложения, описывающие характеристики кого-то или чего-то, воспринимаются сложнее. Возможно, это одна из причин того, с чем мне постоянно приходится сталкиваться как специалисту по оценке. При описании программ и проектов их разработчики уделяют основное внимание действиям, а не ожидаемым результатам. И во время интервью людям говорить о том, что они делали, легче, чем о результатах этих действий. Я думаю, это еще один аргумент в пользу того, чтобы приглашать специалиста по оценке на этапе разработки программ: нас целенаправленно учат говорить на языке результатов, и мы можем помочь разработчикам «перевести» на него описание программы.

четверг, 14 марта 2013 г.

Иллюзия проекта


Сегодня в рассылке Библиотеки KPI (ключевых показателей деятельности) был отличный пост «Иллюзия бизнес-процесса». Автор дает очень удачное, на мой взгляд, определение бизнес-процесса как деятельности, регулируемой правилами и процедурами. А затем отмечает, что бизнес-процессы создают для того, чтобы они давали результаты. И если вы не можете каким-то образом определить (измерить), дает бизнес-процесс результаты или нет, это не бизнес-процесс, а его иллюзия.

То же самое можно сказать и про проекты (и программы). Проект (или программа) – это инструмент получения результата, и если разработчики еще на этапе планирования не определят, как можно будет узнать (измерить), достигнуты результаты проекта или нет, то это будет не проект, а его иллюзия.

вторник, 5 февраля 2013 г.

Комикс про оценку


Вчера на семинаре одна из участниц сказала, что нужны простые короткие материалы, объясняющие, что такое оценка. «Комиксы», - вполголоса прокомментировала моя соседка. И как-то меня зацепило… И вот что получилось.

Есть советский – неполиткорректный – анекдот про полковника и яблоню. Стоит высокая яблоня, вся усыпана яблоками, но с земли их рукой не достать. Чуть поодаль – сарайчик с инвентарем, к нему прислонена высокая лестница. Мимо идет полковник. Видит яблоки и начинает трясти дерево, чтобы они упали. Трясет, трясет, но ничего не выходит. Местный житель какое-то время наблюдает эту картину, потому замечает: «Товарищ полковник, может, подумать?» «Что тут думать, трясти надо!!» - отвечает полковник.


Вот это подумать после того, как что-то поделаешь, и есть оценка. Оценка деятельности – это, по сути, осмысление полученного в ходе этой деятельности опыта и результатов (или их отсутствия).

Если бы я умела рисовать, то на второй картинке полковник, который все-таки согласился подумать, и местный житель сидели бы рядом и разговаривали. А третья – про использование результатов оценки – выглядела бы примерно так:



среда, 16 января 2013 г.

Тише едешь, дальше будешь



Сегодня в блоге Американской ассоциации оценки Ким Норрис, координатор по оценке программы дополнительного обучения для взрослых Университета Мэрилэнда, поделился своим опытом создания культуры оценки в организации. Меня больше всего впечатлил прилагаемый в качестве образца план работы, рассчитанный на ВОСЕМЬ лет. Я перевела план за первые пять лет (потому что дальше стали появляться какие-то загадочные аббревиатуры), но и это дает возможность почувствовать, насколько плавно, по мнению Норриса, должно происходить изменение культуры организации и внедрение в нее элементов оценки.

Год
Вновь вводимые элементы культуры оценки
Элементы культуры оценки, внедрение которых продолжается
Плюсы для сотрудников от внедрения культуры оценки
Формы участия сотрудников в проведении оценки
1
Подготовка сотрудников к изменениям
Разработка и апробация системы оценки
Упрощение документооборота
Уменьшение объема расчетов, выполняемых вручную
Нет
2
Автоматизация подготовки отчетов – количественные данные относительно процесса работы
Обучение
Сокращение времени работы по предоставлению отчетности
Участвуют в обучении
Используют систему автоматизированной подготовки отчетов
3
Индивидуальные описательные отчеты относительно процесса работы (качественная оценка)
Сбор количественных данных
Обучение
Люди видят свой прогресс в течение года
Есть описание успехов и проблем
Сбор количественных данных относительно процесса работы
Подготовка описательных отчетов – по желанию
4
Он-лайновое анкетирование участников программы
Обучение написанию высококачественных описательных отчетов (описание поведенческих изменений)
Данные о результатах программы для участников
Использование данных при подготовке публикаций и презентаций
Сбор количественных данных относительно процесса работы
Подготовка описательных отчетов – по желанию
5
Использование данных он-лайнового анкетирования при подготовке отчетов о влиянии программы
Отчеты распространяются внутри организации и ее внешним партнерам
Обучение для партнеров по сбору и использованию данных
Отчеты помогают укрепить отношения с партнерами
Отчеты помогают найти новые направления работы
Данные используются для стратегического планирования
Сбор количественных данных относительно процесса работы
Подготовка описательных отчетов – обязательно
Сбор данных от участников – по желанию

Подобная плавность проистекает из того, что Норрис считает, что при проведении изменений нужно идти от человека и дать сотрудникам достаточно времени для адаптации к новым условиям работы. Он предлагает следующие шесть принципов (правда, почему-то называет их шагами) создания культуры оценки в организации:

  1. Ориентируйтесь на сотрудников и их мнение. Обсуждайте с людьми, чего они ожидают от предлагаемых изменений, какие видят плюсы, чего опасаются. Такое общение должно быть постоянным, чтобы скорость изменений оставалась комфортной для коллектива.
  2. Старайтесь, чтобы пользу от внедрения культуры оценки получила не только организация, но и сотрудники. Изменения могут вести к увеличению объема работы для сотрудников, поэтому создайте и используйте систему моральных и иных стимулов, которые будут компенсировать увеличение нагрузки. Например, это может быть возможность приобрести новые навыки и добавить их в резюме.
  3. Привлекайте сотрудников к разработке плана внедрения изменений. Старайтесь, чтобы элементы культуры оценки, которые увеличивают нагрузку на сотрудников, и те, которые дают им дополнительную выгоду, внедрялись параллельно.
  4. Предоставьте сотрудникам обучение и удобные инструменты сбора данных. Он-лайновые системы сбора информации должны быть простыми и интуитивными. Но все равно предоставьте людям обучение по их использованию. Дайте сотрудникам достаточно времени на обучение. Практика показывает, что хорошо работают короткие он-лайновые обучающие модули.
  5. Вводите новые требования к сотрудникам постепенно. Если выполнение какой-то работы не будет обязательным, высока вероятность, что ее не будут делать. Но если сразу обязать людей делать много нового, они могут начать сопротивляться. Поэтому внедряйте не более одного-двух новых оценочных механизмов в год. Например, в первый год сотрудникам нужно будет начать писать текстовые отчеты; на следующий год – начать использовать инструменты сбора количественной информации, и т.п. Загодя информируйте людей о новых требованиях, обеспечьте им обучение и систему поддержки. Регулярно оценивайте, насколько сотрудниками удобно использовать новые механизмы.
  6. Делитесь историями успеха и поощряйте сотрудников за хорошую работу. Сотрудники должны знать, как «выглядит» правильное и успешное использование оценочных механизмов, поэтому регулярно и как можно шире распространяйте и обсуждайте удачный опыт и наработки.







среда, 19 сентября 2012 г.

Семинар «Оценка с использованием оценочных шкал»


На следующей неделе перед началом конференции IPEN в Астане проведу семинар по оценке, основанной на использовании оценочных шкал. Ниже - краткое описание семинара:

Можно выделить два подхода к оценке. Один предполагает, что в результате оценки должна быть получена информация, необходимая для принятий тех или иных решений относительно программы. (По умолчанию предполагается, что лица, принимающие эти решения, на основании представленной информации сами вынесут суждение о ценности программы, например, хорошая она или плохая.) Согласно другому, суждение о ценности программы и отдельных ее компонентов должно быть вынесено в процессе оценки.

В рамках этого второго подхода новозеландский специалист по оценке Джейн Дэвидсон разработала методологию проведения оценки, основанную на использовании оценочных шкал. Оценочная шкала представляет собой набор описаний различных уровней ценности того или иного аспекта программы, например, в каком случае можно будет считать какой-то результат программы хорошим, удовлетворительным или плохим.

Методология включает следующие этапы:
  1. Формулирование вопросов оценки, ответ на которые предполагает вынесение ценностных суждений.
  2. Разработку оценочных шкал.
  3. Определение того, какие данные нужно собрать.
  4. Сбор информации.
  5. Вынесение оценочных суждений.
  6. Подготовка отчета.

Программа семинара:
  • Введение.
  • Как сформулировать вопросы оценки так, чтобы ответы на них требовали вынесения оценочных суждений.
  • Теория программы как основа для определения вопросов оценки. Технология описания теории изменений. Теории изменений – в общем виде – для различных типов программ.
  • Технология разработки оценочной шкалы.
  • Определение потребности в данных на основании оценочных шкал.
  • Подходы к написанию отчета.