Точность экспертной оценки

 

Несколько лет назад я проводила семинар по оценке для руководителей местных НКО в одном из городов. И мне задали вопрос, как сделать так, чтобы члены конкурсной комиссии местной грантовой программы правильно оценивали проектные заявки. Мой ответ, что в экспертной оценке всегда присутствует значительная доля субъективности, участников не удовлетворил. И тогда я предложила провести эксперимент: мы взяли наугад реальную заявку, поданную на конкурс, и каждый из девяти участников семинара оценил ее по критериями, которые использовались в рамках конкурса. По каждому критерию можно было дать от 0 до 5 баллов.

Ниже представлены баллы по критериям, которые поставил заявке каждый из участников семинара.

Таблица 1: Индивидуальные оценки, поставленные разными экспертами.

 

В результате по каждому критерию получился значительный разброс оценок, и максимальная сходимость оценок получилось для критерия «Софинансирование» - в соответствующем разделе заявки был указан процент обещанного софинансирования.

Таблица 2: Число экспертов, которые поставили тот или иной балл по каждом критерию.

 

Таблица 3: Разброс оценок по каждому критерию.

Если считать, что каждую заявку в конкурсе оценивают три эксперта, заявка могла в сумме набрать от 58 баллов, если бы ее получили три эксперта, которые поставили самые низкие баллы, до 98 баллов, если бы ее оценивали те, кто оценил ее наиболее позитивно. Если брать средний бал, оценка бы была в диапазоне от 19.3 (или 43% от максимально возможной оценки в 45 баллов) до 32.6 баллов (72%).

О чем это говорит? О том, что экспертная оценка не очень точный инструмент «измерения». Именно поэтому, например, в доказательной медицине мнение эксперта считается наименее надежным доказательством эффективности лекарства или метода лечения.

Разум и чувства

Была сегодня на семинаре по использованию сторителлинга в оценке, который проводила Хамутал Гоури, специалист по использованию историй как инструмента социальных изменений (думаю именно так стоит переводить английское «storytelling for social change»).

Гоури рассматривает истории как способ sensemaking – процесса осмысления чего-то. Процесс включает четыре этапа: факты (facts) – эмоции (feelings) – идеи (insights) – соответствующие действия (relevant actions). У Гоури опыт оценки связан с тем, что оценивали работу фонда, который она возглавляла. Поэтому в качестве иллюстрации процесса осмысления она рассказала следующую историю. Фонд поддерживал проекты по расширению прав и возможностей для женщин. Оценка этих проектов показала, что они приводят к значительному личностному росту участниц. В некоторой степени этот личностный рост привел к изменениям на уровне сообществ, но на уровне национальной политики ничего не изменилось. По словам Гоури, последнее обстоятельство ее сильно расстроило и заставило задуматься, как можно способствовать изменениями на национальном уровне. Результатом данных размышлений стало решение продолжить поддерживать уже существующие проекты и помочь им развиться настолько, чтобы они могли влиять и на национальную политику.

Тема эмоций как части процесса осмысления данных меня зацепила. Одним из главных аргументов в пользу проведения внешней оценки является то, что внешний специалист может провести ее с «холодной» головой, то есть без эмоций, что обеспечит более высокое качество интерпретации. И в целом в процессе оценки мы обычно не касаемся темы эмоций, и не спрашиваем участников и исполнителей программы, какие эмоции они испытывали по ходу реализации программы.

И, возможно, напрасно. Я в свое время проходила тренинг тренеров, и там нам рассказывали про следующий цикл обучения на опыте: получение участниками опыта – рефлексия участниками эмоций от этого опыта – рациональный анализ полученного опыта – фиксация полученного знания. И нам говорили, что, если не отрефлексировать эмоции, рациональный анализ невозможен. 

Я регулярно сталкиваюсь с подобной ситуацией, когда представляю результаты оценки. Если клиенту они не нравятся, рационального обсуждения обычно не получается. Так что, возможно, стоит попробовать начать поднимать тему эмоций во время представления результатов оценки клиентам, особенно когда можно ожидать, что результаты могут вызвать у них негативные эмоции.

День влюбленных в оценку: история моего романа

 

Оценкой я начала заниматься случайно. Я заканчивала магистратуру в Школе государственного и экологического управления Университета Индианы в США и начинала искать работу в России. И мне попалось объявление: нужен был человек для оценки двух небольших экологических проектов в России и на Украине, причем опыта проведения оценки не требовалось. Я в тот момент про оценку не знала ничего. Но в библиотеке обнаружилось несколько книг по оценке проектов. Я почитала и поняла, что можно попробовать.

Так эти две оценки стали моей первой работой по возвращении домой в Москву. Признаюсь, когда я получила техническое задание с вопросами оценки, у меня был шок. Но потом все сложилось, и клиент сказал, что мои отчеты были ему полезны.

Было это в 1996 году. Следующие пять лет я занималась управлением и разработкой некоммерческих проектов, и в этом качестве периодически становилась объектом оценки. Плюс меня пару раз приглашали национальным специалистом в команды, которые делали оценку донорских проектов. Поэтому я регулярно старалась читать что-то по теме оценки, учиться тому, как ее делают. Но у меня все равно оставались сомнения, как это посторонний человек за небольшой период времени может разобраться в проекте настолько, чтобы дать какие-то полезные рекомендации тем, кто этот проект разработал и реализует.

И вот однажды на подведении итогов конкурса проектов НКО я познакомилась с женщиной, которая развивала модель общественно-активной школы (ОАШ) в нескольких регионах. Я в это время работала в организации, которая создавала просветительские медиа-проекты, и мне очень захотелось сделать проект, посвященный модели ОАШ.

И через пару месяцев случился грантовый конкурс с подходящей тематикой. Я предложила новой знакомой написать совместный проект, в рамках которого ее организация продолжила бы распространение модели ОАШ, а мы бы включили в него свой медийный компонент. Она согласилась – но при условии, что я разработаю и их часть проекта.

Я прикинула, что это как раз задача для оценки: определить, что хорошо сработало в прошлом в данной организации, и что поэтому стоит включить в новый проект, - и что методами оценки я уже более-менее владею, и согласилась. Я изучила материалы предыдущих проектов этой организации, поговорила с сотрудниками, и затем предложила механизм для нового проекта продолжительностью три года. Организация согласилась, и мы подали совместную заявку. И выиграли.

Следующие три года я жила в постоянном напряжении – мне было страшно, что получится из этой затеи, тем более что в проекте были задействованы сначала десятки, а затем сотни людей. При разработке мы договорились «зашить» в проект механизм внутренней оценки – раз в год проводилась общая конференция для обсуждения и анализа полученного опыта. Поэтому у меня была возможность видеть, как развивается проект, достигаются ли ожидаемые результаты, и насколько людям комфортно в нем участвовать.

И проект развивался так, как и должен был, исходя из результатов оценки, проведенной на этапе его разработки. Итоговую конференцию мы провели, по сути, как оценку с участием, в рамках которой участники обсуждали, какие изменения произошли в результате проекта. И оказалось, что все получилось. И тогда я, наконец, внутренне приняла для себя тот факт, что технологии оценки позволяют человеку, который не является экспертом по теме проекта, за небольшой промежуток времени получить информацию, которой достаточно даже для того, чтобы разработать хорошо работающий новый проект.

Я уже 15 лет специализируюсь на проведении оценки как внешний консультант. Но до сих пор, когда клиенты делятся тем, что они использовали результаты оценки и что-то в их работе стало лучше, у меня возникает ощущение «бабочек в животе». И это то, за что я люблю оценку.

Инфографика: боевое крещение

В 2018 году я была семинаре, посвященном тому, как можно делать инфографику для представления результатов оценки с помощью PowerPoint. Я не думала, что эти навыки мне быстро пригодятся, но в прошлом году, когда я делала оценку проекта ООН Женщины в Кыргызстане, заказчик сам попросил меня сделать инфографику для отчета и прислал образцы – с большим количеством информации и явно сделанные в профессиональной программе.

Идея использовать инфографику появилась у клиента на этапе подготовке отчета, в ТЗ этого не было, поэтому денег на привлечение профессионального дизайнера у меня в бюджете не было, как и не было знакомого дизайнера, к которому можно было бы оперативно обратиться. Так что я решила попробовать сделать все своими силами в PowerPoint. Результат заказчик у меня принял.

Самым сложным при создании инфографики оказалось найти иконку для «умыкания невест». Проект был посвящен искоренению этой практики – оказывается, в Кыргызстане, по имеющимся данным, 11.5% браков заключено через ала качуу – похищение невесты. И мне было важно визуально выделить этот элемент информации. Я использовала иконки из коллекции значков в PowerPoint 365. Она постоянно расширяется, но готового значка для умыкания невесты там пока нет. Я в итоге сделала собственную иконку, скомбинировав пару готовых значков.

Так как в ООН отчет об оценке публичный, я могу поделиться результатами своих дизайнерских усилий. Единственно, текст везде на английском. Первая картинка описывает контекст реализации проекта, его теорию изменений, основные элементы и результаты. Вторая – задачи оценки и ее методологию.

                                Рис.1. Описание проекта и контекста его реализации.

Рис. 2. Задачи и методология оценки.

Хороший пример того, как оценка помогла программе достичь поставленной цели

Была сегодня на вебинаре по случаю старта Глобальной инициативы в области оценки в Южной Азии. Один из выступающих, исполнительный директор BRAC, международного НКО, которое была основано в Бангладеш в 1972 году, привел пример того, как их организация использовала оценку для улучшения работы одной из программ.

Бангладеш – бедная сельская страна, и одной из проблем, которую хотела решить BRAC, была высокая детская смертность из-за обезвоживания при диарее. Бедные семьи не могли покупать лекарства от обезвоживания, поэтому BRAC разработала альтернативу, которую можно было самостоятельно приготовить дома, смешав пол-литра кипяченой воды со щепоткой соли и пригоршней сахара. BRAC поставила цель научить миллионы женщин в Бангладеш тому, как готовить этот раствор и правильно ухаживать за больными детьми. К обучению женщин привлекли местных медицинских работников. В результате обучения женщина должна была знать семь пунктов, которые описывали процесс приготовления раствора и его применения.

Процессы мониторинга и оценки были интегрированы в работу BRAC с момента основания. Поэтому, после того как программа охватила обучением женщин с маленькими детьми в первых 30 тысячах домохозяйств, провели оценку: опросили матерей маленьких детей на случайной репрезентативной выборке из 10% домохозяйств. И оказалось, что домашнее средство от обезвоживания для помощи детям при диарее использовали только 6% семей. Провели интервью с медработниками, и оказалось, что большинство из них не верит в эффективность средства. Поэтому на следующем этапе изменили программу обучения медработников, которые затем шли обучать женщин с детьми в домохозяйствах: в рамках обучения им наглядно объясняли, как работает средство от обезвоживания домашнего приготовления.

После этого программа охватила еще 30 тысяч домохозяйств, и опять провели оценку. Использование домашнего средства от обезвоживания для детей расширилось, но недостаточно для достижения цели BRAC: теперь средство использовали 19% домохозяйств, прошедших обучение. В этот момент BRAC привлек специалистов, которые провели глубинные интервью с женщинами, которых обучали медработники. И оказалось, что, когда ребенок заболевает, муж или свекровь могут не разрешить женщине использовать средство, которое ее научили готовить в программе. Соответственно, BRAC снова внес коррективы в свою программу, и в обучение стали вовлекать всех членов семьи, а само обучение проводить в общественных местах, чтобы донести информацию об эффективности применения профилактики обезвоживания до всех жителей сообщества. Параллельно проходила информационная кампания на радио и телевидении. И эффективность программы резко выросла. В итоге это стало одним из факторов, благодаря которым смертность среди детей до пяти лет в Бангладеш снизилась со 180 на тысячу родившихся в 1980-х до 53 на тысячу к концу 2010-х.

На мой взгляд, из этой истории можно вынести несколько уроков. Во-первых, это важность измерения не только непосредственных результатов программы (в данном случае – подсчет числа домохозяйств, которые прошли обучение), но и отсроченных опосредованных результатов (фактического применения полученных знаний). И для этого необходима оценка. Во-вторых, необходимость сочетания количественных методов сбора данных с качественными: опрос домохозяйств по случайной репрезентативной выборке позволил выявить проблему низкого использования полученных знаний, но именно качественные методы помогли определить причины и найти пути совершенствования программы.