воскресенье, 18 июля 2021 г.

Точность экспертной оценки

 

Несколько лет назад я проводила семинар по оценке для руководителей местных НКО в одном из городов. И мне задали вопрос, как сделать так, чтобы члены конкурсной комиссии местной грантовой программы правильно оценивали проектные заявки. Мой ответ, что в экспертной оценке всегда присутствует значительная доля субъективности, участников не удовлетворил. И тогда я предложила провести эксперимент: мы взяли наугад реальную заявку, поданную на конкурс, и каждый из девяти участников семинара оценил ее по критериями, которые использовались в рамках конкурса. По каждому критерию можно было дать от 0 до 5 баллов.

Ниже представлены баллы по критериям, которые поставил заявке каждый из участников семинара.

Таблица 1: Индивидуальные оценки, поставленные разными экспертами.

 

В результате по каждому критерию получился значительный разброс оценок, и максимальная сходимость оценок получилось для критерия «Софинансирование» - в соответствующем разделе заявки был указан процент обещанного софинансирования.

Таблица 2: Число экспертов, которые поставили тот или иной балл по каждом критерию.

 

Таблица 3: Разброс оценок по каждому критерию.

Если считать, что каждую заявку в конкурсе оценивают три эксперта, заявка могла в сумме набрать от 58 баллов, если бы ее получили три эксперта, которые поставили самые низкие баллы, до 98 баллов, если бы ее оценивали те, кто оценил ее наиболее позитивно. Если брать средний бал, оценка бы была в диапазоне от 19.3 (или 43% от максимально возможной оценки в 45 баллов) до 32.6 баллов (72%).

О чем это говорит? О том, что экспертная оценка не очень точный инструмент «измерения». Именно поэтому, например, в доказательной медицине мнение эксперта считается наименее надежным доказательством эффективности лекарства или метода лечения.




вторник, 23 марта 2021 г.

Разум и чувства

Была сегодня на семинаре по использованию сторителлинга в оценке, который проводила Хамутал Гоури, специалист по использованию историй как инструмента социальных изменений (думаю именно так стоит переводить английское «storytelling for social change»).

Гоури рассматривает истории как способ sensemaking – процесса осмысления чего-то. Процесс включает четыре этапа: факты (facts) – эмоции (feelings) – идеи (insights) – соответствующие действия (relevant actions). У Гоури опыт оценки связан с тем, что оценивали работу фонда, который она возглавляла. Поэтому в качестве иллюстрации процесса осмысления она рассказала следующую историю. Фонд поддерживал проекты по расширению прав и возможностей для женщин. Оценка этих проектов показала, что они приводят к значительному личностному росту участниц. В некоторой степени этот личностный рост привел к изменениям на уровне сообществ, но на уровне национальной политики ничего не изменилось. По словам Гоури, последнее обстоятельство ее сильно расстроило и заставило задуматься, как можно способствовать изменениями на национальном уровне. Результатом данных размышлений стало решение продолжить поддерживать уже существующие проекты и помочь им развиться настолько, чтобы они могли влиять и на национальную политику.


Тема эмоций как части процесса осмысления данных меня зацепила. Одним из главных аргументов в пользу проведения внешней оценки является то, что внешний специалист может провести ее с «холодной» головой, то есть без эмоций, что обеспечит более высокое качество интерпретации. И в целом в процессе оценки мы обычно не касаемся темы эмоций, и не спрашиваем участников и исполнителей программы, какие эмоции они испытывали по ходу реализации программы.

И, возможно, напрасно. Я в свое время проходила тренинг тренеров, и там нам рассказывали про следующий цикл обучения на опыте: получение участниками опыта – рефлексия участниками эмоций от этого опыта – рациональный анализ полученного опыта – фиксация полученного знания. И нам говорили, что, если не отрефлексировать эмоции, рациональный анализ невозможен. 

Я регулярно сталкиваюсь с подобной ситуацией, когда представляю результаты оценки. Если клиенту они не нравятся, рационального обсуждения обычно не получается. Так что, возможно, стоит попробовать начать поднимать тему эмоций во время представления результатов оценки клиентам, особенно когда можно ожидать, что результаты могут вызвать у них негативные эмоции.


воскресенье, 14 февраля 2021 г.

День влюбленных в оценку: история моего романа

 

Оценкой я начала заниматься случайно. Я заканчивала магистратуру в Школе государственного и экологического управления Университета Индианы в США и начинала искать работу в России. И мне попалось объявление: нужен был человек для оценки двух небольших экологических проектов в России и на Украине, причем опыта проведения оценки не требовалось. Я в тот момент про оценку не знала ничего. Но в библиотеке обнаружилось несколько книг по оценке проектов. Я почитала и поняла, что можно попробовать.

Так эти две оценки стали моей первой работой по возвращении домой в Москву. Признаюсь, когда я получила техническое задание с вопросами оценки, у меня был шок. Но потом все сложилось, и клиент сказал, что мои отчеты были ему полезны.

Было это в 1996 году. Следующие пять лет я занималась управлением и разработкой некоммерческих проектов, и в этом качестве периодически становилась объектом оценки. Плюс меня пару раз приглашали национальным специалистом в команды, которые делали оценку донорских проектов. Поэтому я регулярно старалась читать что-то по теме оценки, учиться тому, как ее делают. Но у меня все равно оставались сомнения, как это посторонний человек за небольшой период времени может разобраться в проекте настолько, чтобы дать какие-то полезные рекомендации тем, кто этот проект разработал и реализует.

И вот однажды на подведении итогов конкурса проектов НКО я познакомилась с женщиной, которая развивала модель общественно-активной школы (ОАШ) в нескольких регионах. Я в это время работала в организации, которая создавала просветительские медиа-проекты, и мне очень захотелось сделать проект, посвященный модели ОАШ.

И через пару месяцев случился грантовый конкурс с подходящей тематикой. Я предложила новой знакомой написать совместный проект, в рамках которого ее организация продолжила бы распространение модели ОАШ, а мы бы включили в него свой медийный компонент. Она согласилась – но при условии, что я разработаю и их часть проекта.

Я прикинула, что это как раз задача для оценки: определить, что хорошо сработало в прошлом в данной организации, и что поэтому стоит включить в новый проект, - и что методами оценки я уже более-менее владею, и согласилась. Я изучила материалы предыдущих проектов этой организации, поговорила с сотрудниками, и затем предложила механизм для нового проекта продолжительностью три года. Организация согласилась, и мы подали совместную заявку. И выиграли.

Следующие три года я жила в постоянном напряжении – мне было страшно, что получится из этой затеи, тем более что в проекте были задействованы сначала десятки, а затем сотни людей. При разработке мы договорились «зашить» в проект механизм внутренней оценки – раз в год проводилась общая конференция для обсуждения и анализа полученного опыта. Поэтому у меня была возможность видеть, как развивается проект, достигаются ли ожидаемые результаты, и насколько людям комфортно в нем участвовать.

И проект развивался так, как и должен был, исходя из результатов оценки, проведенной на этапе его разработки. Итоговую конференцию мы провели, по сути, как оценку с участием, в рамках которой участники обсуждали, какие изменения произошли в результате проекта. И оказалось, что все получилось. И тогда я, наконец, внутренне приняла для себя тот факт, что технологии оценки позволяют человеку, который не является экспертом по теме проекта, за небольшой промежуток времени получить информацию, которой достаточно даже для того, чтобы разработать хорошо работающий новый проект.

Я уже 15 лет специализируюсь на проведении оценки как внешний консультант. Но до сих пор, когда клиенты делятся тем, что они использовали результаты оценки и что-то в их работе стало лучше, у меня возникает ощущение «бабочек в животе». И это то, за что я люблю оценку.

четверг, 4 февраля 2021 г.

Инфографика: боевое крещение

В 2018 году я была семинаре, посвященном тому, как можно делать инфографику для представления результатов оценки с помощью PowerPoint. Я не думала, что эти навыки мне быстро пригодятся, но в прошлом году, когда я делала оценку проекта ООН Женщины в Кыргызстане, заказчик сам попросил меня сделать инфографику для отчета и прислал образцы – с большим количеством информации и явно сделанные в профессиональной программе.

Идея использовать инфографику появилась у клиента на этапе подготовке отчета, в ТЗ этого не было, поэтому денег на привлечение профессионального дизайнера у меня в бюджете не было, как и не было знакомого дизайнера, к которому можно было бы оперативно обратиться. Так что я решила попробовать сделать все своими силами в PowerPoint. Результат заказчик у меня принял.

Самым сложным при создании инфографики оказалось найти иконку для «умыкания невест». Проект был посвящен искоренению этой практики – оказывается, в Кыргызстане, по имеющимся данным, 11.5% браков заключено через ала качуу – похищение невесты. И мне было важно визуально выделить этот элемент информации. Я использовала иконки из коллекции значков в PowerPoint 365. Она постоянно расширяется, но готового значка для умыкания невесты там пока нет. Я в итоге сделала собственную иконку, скомбинировав пару готовых значков.

Так как в ООН отчет об оценке публичный, я могу поделиться результатами своих дизайнерских усилий. Единственно, текст везде на английском. Первая картинка описывает контекст реализации проекта, его теорию изменений, основные элементы и результаты. Вторая – задачи оценки и ее методологию.

                                Рис.1. Описание проекта и контекста его реализации.

Рис. 2. Задачи и методология оценки.



среда, 20 января 2021 г.

Хороший пример того, как оценка помогла программе достичь поставленной цели

Была сегодня на вебинаре по случаю старта Глобальной инициативы в области оценки в Южной Азии. Один из выступающих, исполнительный директор BRAC, международного НКО, которое была основано в Бангладеш в 1972 году, привел пример того, как их организация использовала оценку для улучшения работы одной из программ.

Бангладеш – бедная сельская страна, и одной из проблем, которую хотела решить BRAC, была высокая детская смертность из-за обезвоживания при диарее. Бедные семьи не могли покупать лекарства от обезвоживания, поэтому BRAC разработала альтернативу, которую можно было самостоятельно приготовить дома, смешав пол-литра кипяченой воды со щепоткой соли и пригоршней сахара. BRAC поставила цель научить миллионы женщин в Бангладеш тому, как готовить этот раствор и правильно ухаживать за больными детьми. К обучению женщин привлекли местных медицинских работников. В результате обучения женщина должна была знать семь пунктов, которые описывали процесс приготовления раствора и его применения.

Процессы мониторинга и оценки были интегрированы в работу BRAC с момента основания. Поэтому, после того как программа охватила обучением женщин с маленькими детьми в первых 30 тысячах домохозяйств, провели оценку: опросили матерей маленьких детей на случайной репрезентативной выборке из 10% домохозяйств. И оказалось, что домашнее средство от обезвоживания для помощи детям при диарее использовали только 6% семей. Провели интервью с медработниками, и оказалось, что большинство из них не верит в эффективность средства. Поэтому на следующем этапе изменили программу обучения медработников, которые затем шли обучать женщин с детьми в домохозяйствах: в рамках обучения им наглядно объясняли, как работает средство от обезвоживания домашнего приготовления.

После этого программа охватила еще 30 тысяч домохозяйств, и опять провели оценку. Использование домашнего средства от обезвоживания для детей расширилось, но недостаточно для достижения цели BRAC: теперь средство использовали 19% домохозяйств, прошедших обучение. В этот момент BRAC привлек специалистов, которые провели глубинные интервью с женщинами, которых обучали медработники. И оказалось, что, когда ребенок заболевает, муж или свекровь могут не разрешить женщине использовать средство, которое ее научили готовить в программе. Соответственно, BRAC снова внес коррективы в свою программу, и в обучение стали вовлекать всех членов семьи, а само обучение проводить в общественных местах, чтобы донести информацию об эффективности применения профилактики обезвоживания до всех жителей сообщества. Параллельно проходила информационная кампания на радио и телевидении. И эффективность программы резко выросла. В итоге это стало одним из факторов, благодаря которым смертность среди детей до пяти лет в Бангладеш снизилась со 180 на тысячу родившихся в 1980-х до 53 на тысячу к концу 2010-х.

На мой взгляд, из этой истории можно вынести несколько уроков. Во-первых, это важность измерения не только непосредственных результатов программы (в данном случае – подсчет числа домохозяйств, которые прошли обучение), но и отсроченных опосредованных результатов (фактического применения полученных знаний). И для этого необходима оценка. Во-вторых, необходимость сочетания количественных методов сбора данных с качественными: опрос домохозяйств по случайной репрезентативной выборке позволил выявить проблему низкого использования полученных знаний, но именно качественные методы помогли определить причины и найти пути совершенствования программы.

воскресенье, 20 декабря 2020 г.

Оценка благотворительных программ бизнеса: анализ материалов конкурса "Лидеры корпоративной благотворительности" 2020

В этом году я была членом жюри конкурса «Лидеры корпоративной благотворительности» Форума доноров, и организаторы попросили меня проанализировать, как оценка используется в компаниях, которые участвовали в конкурсе, – на основании того, как они сами описали это в своих заявках. В итоге материал опубликовали в тематической вкладке в газете «Коммерсант»: https://www.kommersant.ru/doc/4616158. Оригинальную версию текста выкладываю здесь.

Оценка – это, по сути, обратная сторона планирования. На этапе планирование разработчики программ и проектов определяют, какие действия нужно предпринять, и какие результаты должны быть достигнуты, чтобы реализовать стратегическое видение, принятое руководством компании. А на этапе оценки смотрят, в какой степени были реализованы запланированные действия и достигнуты целевые значения результатов. Кроме того, на этапе оценке может проводиться и более глубокий анализ опыта, полученного в процессе реализации проекта или программы, чтобы вынести из него уроки на будущее. Результаты, полученные в ходе оценки, используют для определения стратегии и тактики работы в следующем управленческом цикле.

Оценка отвечает на информационные потребности руководства компании, а эти потребности зависят в том числе от того, как компания понимает, зачем она занимается благотворительной деятельностью: чтобы поддержать реализацию каких-то мероприятий, например, оплачивать лечение и отдых детям-сиротам; чтобы способствовать каким-то конкретным изменениям в жизни участников программ, например, повысить уровень их компетенций в какой-то сфере; либо чтобы улучшить жизнь людей в каком-то населенном пункте. Если горизонт планирования благотворительной деятельности ограничен мероприятиями, то для оценки этой деятельности будет достаточно получить отчеты о проведении запланированных мероприятий или направить сотрудников компании на эти мероприятия. Если же компания хочет, чтобы поддерживаемые социальные проекты приводили к изменениям в жизни людей и в тех сообществах, где они живут, то ей потребуется собирать информацию об этих изменениях, и процесс оценки становится более трудоемким.

Модель благотворительной деятельности как инструмента социальных изменений появилась сначала на западе. И там же сформировались подходы к оценке таких программ. Стандартом стала внешняя независимая оценка, которую проводят специалисты, которые не участвовали в разработке и реализации оцениваемых проектов и программ, и которые обладают специальными навыками сбора и анализа данных. Один из основных принципов такой оценки – сопоставление данных, полученных из нескольких источников информации и несколькими методами, чтобы обеспечить максимальную надежность и достоверность получаемой информации. На западе проведение такой оценки уже стало отдельной профессией, например, есть университетские программы, где можно получить соответствующее образование или ученую степень по оценке социальных проектов.

Если говорить о практике оценки благотворительных программ бизнеса в России, то, судя по заявкам, поданным в этом году на конкурс Форума доноров «Лидеры корпоративной благотворительности», «западная» модель оценки социальных проектов используется в первую очередь в иностранных компаниях. Например, компания «Сахалин Энерджи» проводит независимую внешнюю оценку проектов социальных инвестиций один раз в два года. Причем оценивают как отдельные краткосрочные проекты, которые были профинансированы компанией, так и стратегические партнерские программы, а также процессы и подходы в сфере реализации программ социальных инвестиций.

Похожий подход использует компания «Амвэй». Например, в 2019 году компания провела оценку программы «Мама-предприниматель». Методика оценки включала интервью с представителями федеральных соорганизаторов программы и онлайн опросы, в которых поучаствовали 206 выпускниц программы 2018 года (в том числе 30 победительниц) и 34 региональных партнера программы.

В результате оценки были определены направления дальнейшего развития программы «Мама-предприниматель». Например, оценка показала, что нужно улучшить образовательный блок программы, важно организовать сопровождение выпускниц, например, проводить для них консультации, поддерживать сетевое общение и поддерживать их стартапы, а также нужно обеспечить дифференцированный подход к участницам с разным уровнем подготовки. На основании результатов оценки «Амвэй» уже разработал и реализовал несколько пилотных проектов в рамках программы «Мама-предприниматель», чтобы протестировать новые направления работы.

А в 2018 году компания провела оценку влияния программ и проектов своего Благотворительного фонда, реализованных в 2013-2017 году. Исполнителем оценки был Фонд поддержки и развития филантропии «КАФ». Оценка проанализировала влияние деятельности Благотворительного фонда компании «Амвэй» на различные группы стейкхолдеров, роль фонда в формировании имиджа компании и во взаимодействии компании с властью, СМИ и местным сообществом, а также востребованность основных направлений работы фонда и возможные перспективы их развития.

По результатам оценки компания получила ряд рекомендаций, которые использовала для совершенствования работы своего Благотворительного фонда. Например, одной из рекомендаций было разработать мероприятия, которые бы были интересны Независимым предпринимателям (распространителям продукции) «Амвэй». Во исполнение данной рекомендации Благотворительный фонд, например, начал заниматься систематическим вовлечением Независимых предпринимателей «Амвэй» в программу «Мама-предприниматель».

При этом «западные» подходы к оценке программ и проектов начинают использовать и российские компании. (Здесь стоит отметить, что, так как в России термин оценка чаще означает вынесение суждения о программе по степени достижения целевых показателей, оценку со сбором и анализом дополнительных данных российские компании называют исследованием, хотя и видят ее как часть системы оценки.) Например, СИБУР ежегодно проводит комплексные исследования (оценку) эффективности своей благотворительной программы «Формула хороших дел», чтобы, в том числе, проанализировать результативность, устойчивость и коммуникационную эффективность проектов, получивших грантовую поддержку. Методика оценки, пример которой компания привела в своей заявке на конкурс, включала анализ проектной документации, сайтов организаций-победителей и аккаунтов в социальных сетях, анкетирование, интервью и фокус-группы с сотрудниками региональных предприятий, представителями местных властей, победителями и участниками грантового конкурса, а также благополучателями проектов.

СИБУР проводил эту оценку внутренними силами: всю работу выполнили специалисты программы «Формула хороших дел». Результаты оценки использовали, в том числе, для совершенствования процедур проведения конкурса и взаимодействия с партнерами и грантополучателями, для определения приоритетов программы на 2020 год.

Внешнюю оценку эффективности своих социальных инвестиций проводит Сибирская Угольная Энергетическая Компания (СУЭК). Методика оценки включает фокус-группы с представителями местных и региональных властей и некоммерческих организаций, опросы экспертов и участников мероприятий, а также обсуждение результатов программ на публичных мероприятиях с участием заинтересованных сторон.

Программы социальных инвестиций СУЭК направлены на повышение качества жизни людей в регионах присутствия компании, развитие предпринимательской и социальной инициативы местных сообществ. Для оценки достижения этих результатов компания раз в два-три года проводит социологические исследования. В их ходе собирают данные о том, с какими социальными проблемами люди сталкиваются, и насколько они информированы о социальной политике и социальных программах компании, и как они оценивают эти программы.

В 2019 году РУСАЛ – при финансовой поддержке Фонда президентсĸих грантов – провел комплексные исследования социальной сферы в городах Братсĸ, Тайшет и Шелехов Ирĸутсĸой области. Исследования включали анализ благотворительных программ РУСАЛ и поддержанных проеĸтов за предшествующие пять лет, а также анализ местных проблем и потребностей. Эта оценка выявила, например, наиболее востребованные решения местных задач социального развития. По результатам оценки РУСАЛ был дан ряд рекомендаций, например, относительно выстраивания совместной работы с городсĸими сообществами, малым бизнесом, органами власти и местного самоуправления.

Относительно новый тренд в оценке благотворительной деятельности связан с тем, что компании начинают ориентироваться не только на собственные цели, но и на Глобальные цели (Цели в области устойчивого развития) или национальные цели развития России. Соответственно, у руководства компаний возникает потребность в оценке вклада благотворительной деятельности или социальных инвестиций в достижение этих целей. Например, Coca-Cola приняла на себя ряд обязательств в области устойчивого развития, которые были разработаны на основе глобального исследования динамики соответствующих показателей за предыдущие годы для всех рынков. А СИБУР в рамках оценки программы «Формула хороших дел» проанализировал, как характер и тематика поддержанных проектов грантополучателей соотносится с национальными проектами и национальными целям развития.

В целом, судя по материалам, представленным участниками конкурса Форума доноров «Лидеры корпоративной благотворительности», нужно отметить, что использование компаниями оценки в рамках своей благотворительной деятельности соразмерно тому, как эта деятельность осуществляется. Компании, которые поддерживают небольшие грантовые проекты, срок реализации которых не превышает месяца, а бюджет – ста тысяч рублей, ограничиваются экспертной оценкой поданных проектных заявок и контролем реализации планов работы и достижения целевых значений индикаторов результатов профинансированными проектами. Общая оценка эффективности благотворительной программы компании делается силами сотрудников путем анализа отчетов по всем проектам. И такой подход оправдан, потому что небольшие проекты не приводят к изменениям, например, на уровне сообществ, которые можно измерить, поэтому нет особого смысла проводить такие исследования. Компании, которые поддерживают более масштабные проекты, которые могут иметь заметный социальный эффект, с большей вероятностью проводят также оценку, которая включает дополнительный сбор данных с использованием комплекса разных методов, чтобы выявить долгосрочное воздействие на людей, местные организации и местное сообщество в целом.

понедельник, 10 августа 2020 г.

«Открытые» программы

В последнее время мне регулярно попадаются программы, которые организуют серии связанных между собой мероприятий, но при этом не настаивают, и даже не ожидают, что конкретный благополучатель пример участие во всех мероприятиях серии. Например, организация проводит серию тренингов личностного роста, где у каждого отдельного тренинга есть своя отдельная тема, но при этом организатор принципиально не пытается связать потенциальных участников, для которых серия организована, хотя бы моральным обязательством посетить все занятия. Но одновременно организаторы ожидают, что у всех, кто их тренинги посетил, будут какие-то изменения в ожидаемом организаторами направлении.

Думаю, такие программы можно называть «открытыми», так как они постоянно открыты для потенциальных участников. Важным следствием такой открытости является то, что может быть множеств траекторий, по которым благополучатели проходят такую программы. Например, если в рамках программы проводится серия из десяти тренингов, то могут быть люди, которые участвовали во всех десяти, но кто-то, возможно, сходит только на первый, пятый и седьмой тренинги, а кто-то только на девятый.

Каким образом можно подойти к измерению (и планированию) воздействия такой программы на ее участников? На мой взгляд, в такой программе каждое мероприятие нужно рассматривать как отдельный проект со своими ожидаемыми результатами: изменениями в знаниях, навыках и эмоциональных установках участников. И нужно понимать, как изменения в результате каждого конкретного мероприятиях связаны с ожидаемыми результатами программы в целом.

Особое значение приобретает операционализация результатов типа «социальная адаптированность», «личностный рост» или «ресурсность семьи», потому что только при высоком уровне «распаковки» таких понятий можно объяснить, какой вклад в повышение «социальной адаптированности» может внести одно конкретное мероприятие.

Кроме того, в «открытых» программах важно измерять непосредственный эффект на участников от каждого мероприятия, потому что после его окончания любой участник может пропасть для организатора навсегда. Соответственно, возникают задачи сбора данных на входе и выходе с мероприятия, чтобы зафиксировать полученные изменения. Например, это может быть анкета, которую нужно заполнить при регистрации на мероприятие, и анкета, которую участника просят заполнить в конце мероприятия. 

И, конечно же, нужно отслеживать траектории и накопление результатов каждым конкретным участником.