воскресенье, 14 февраля 2021 г.

День влюбленных в оценку: история моего романа

 

Оценкой я начала заниматься случайно. Я заканчивала магистратуру в Школе государственного и экологического управления Университета Индианы в США и начинала искать работу в России. И мне попалось объявление: нужен был человек для оценки двух небольших экологических проектов в России и на Украине, причем опыта проведения оценки не требовалось. Я в тот момент про оценку не знала ничего. Но в библиотеке обнаружилось несколько книг по оценке проектов. Я почитала и поняла, что можно попробовать.

Так эти две оценки стали моей первой работой по возвращении домой в Москву. Признаюсь, когда я получила техническое задание с вопросами оценки, у меня был шок. Но потом все сложилось, и клиент сказал, что мои отчеты были ему полезны.

Было это в 1996 году. Следующие пять лет я занималась управлением и разработкой некоммерческих проектов, и в этом качестве периодически становилась объектом оценки. Плюс меня пару раз приглашали национальным специалистом в команды, которые делали оценку донорских проектов. Поэтому я регулярно старалась читать что-то по теме оценки, учиться тому, как ее делают. Но у меня все равно оставались сомнения, как это посторонний человек за небольшой период времени может разобраться в проекте настолько, чтобы дать какие-то полезные рекомендации тем, кто этот проект разработал и реализует.

И вот однажды на подведении итогов конкурса проектов НКО я познакомилась с женщиной, которая развивала модель общественно-активной школы (ОАШ) в нескольких регионах. Я в это время работала в организации, которая создавала просветительские медиа-проекты, и мне очень захотелось сделать проект, посвященный модели ОАШ.

И через пару месяцев случился грантовый конкурс с подходящей тематикой. Я предложила новой знакомой написать совместный проект, в рамках которого ее организация продолжила бы распространение модели ОАШ, а мы бы включили в него свой медийный компонент. Она согласилась – но при условии, что я разработаю и их часть проекта.

Я прикинула, что это как раз задача для оценки: определить, что хорошо сработало в прошлом в данной организации, и что поэтому стоит включить в новый проект, - и что методами оценки я уже более-менее владею, и согласилась. Я изучила материалы предыдущих проектов этой организации, поговорила с сотрудниками, и затем предложила механизм для нового проекта продолжительностью три года. Организация согласилась, и мы подали совместную заявку. И выиграли.

Следующие три года я жила в постоянном напряжении – мне было страшно, что получится из этой затеи, тем более что в проекте были задействованы сначала десятки, а затем сотни людей. При разработке мы договорились «зашить» в проект механизм внутренней оценки – раз в год проводилась общая конференция для обсуждения и анализа полученного опыта. Поэтому у меня была возможность видеть, как развивается проект, достигаются ли ожидаемые результаты, и насколько людям комфортно в нем участвовать.

И проект развивался так, как и должен был, исходя из результатов оценки, проведенной на этапе его разработки. Итоговую конференцию мы провели, по сути, как оценку с участием, в рамках которой участники обсуждали, какие изменения произошли в результате проекта. И оказалось, что все получилось. И тогда я, наконец, внутренне приняла для себя тот факт, что технологии оценки позволяют человеку, который не является экспертом по теме проекта, за небольшой промежуток времени получить информацию, которой достаточно даже для того, чтобы разработать хорошо работающий новый проект.

Я уже 15 лет специализируюсь на проведении оценки как внешний консультант. Но до сих пор, когда клиенты делятся тем, что они использовали результаты оценки и что-то в их работе стало лучше, у меня возникает ощущение «бабочек в животе». И это то, за что я люблю оценку.

четверг, 4 февраля 2021 г.

Инфографика: боевое крещение

В 2018 году я была семинаре, посвященном тому, как можно делать инфографику для представления результатов оценки с помощью PowerPoint. Я не думала, что эти навыки мне быстро пригодятся, но в прошлом году, когда я делала оценку проекта ООН Женщины в Кыргызстане, заказчик сам попросил меня сделать инфографику для отчета и прислал образцы – с большим количеством информации и явно сделанные в профессиональной программе.

Идея использовать инфографику появилась у клиента на этапе подготовке отчета, в ТЗ этого не было, поэтому денег на привлечение профессионального дизайнера у меня в бюджете не было, как и не было знакомого дизайнера, к которому можно было бы оперативно обратиться. Так что я решила попробовать сделать все своими силами в PowerPoint. Результат заказчик у меня принял.

Самым сложным при создании инфографики оказалось найти иконку для «умыкания невест». Проект был посвящен искоренению этой практики – оказывается, в Кыргызстане, по имеющимся данным, 11.5% браков заключено через ала качуу – похищение невесты. И мне было важно визуально выделить этот элемент информации. Я использовала иконки из коллекции значков в PowerPoint 365. Она постоянно расширяется, но готового значка для умыкания невесты там пока нет. Я в итоге сделала собственную иконку, скомбинировав пару готовых значков.

Так как в ООН отчет об оценке публичный, я могу поделиться результатами своих дизайнерских усилий. Единственно, текст везде на английском. Первая картинка описывает контекст реализации проекта, его теорию изменений, основные элементы и результаты. Вторая – задачи оценки и ее методологию.

                                Рис.1. Описание проекта и контекста его реализации.

Рис. 2. Задачи и методология оценки.



среда, 20 января 2021 г.

Хороший пример того, как оценка помогла программе достичь поставленной цели

Была сегодня на вебинаре по случаю старта Глобальной инициативы в области оценки в Южной Азии. Один из выступающих, исполнительный директор BRAC, международного НКО, которое была основано в Бангладеш в 1972 году, привел пример того, как их организация использовала оценку для улучшения работы одной из программ.

Бангладеш – бедная сельская страна, и одной из проблем, которую хотела решить BRAC, была высокая детская смертность из-за обезвоживания при диарее. Бедные семьи не могли покупать лекарства от обезвоживания, поэтому BRAC разработала альтернативу, которую можно было самостоятельно приготовить дома, смешав пол-литра кипяченой воды со щепоткой соли и пригоршней сахара. BRAC поставила цель научить миллионы женщин в Бангладеш тому, как готовить этот раствор и правильно ухаживать за больными детьми. К обучению женщин привлекли местных медицинских работников. В результате обучения женщина должна была знать семь пунктов, которые описывали процесс приготовления раствора и его применения.

Процессы мониторинга и оценки были интегрированы в работу BRAC с момента основания. Поэтому, после того как программа охватила обучением женщин с маленькими детьми в первых 30 тысячах домохозяйств, провели оценку: опросили матерей маленьких детей на случайной репрезентативной выборке из 10% домохозяйств. И оказалось, что домашнее средство от обезвоживания для помощи детям при диарее использовали только 6% семей. Провели интервью с медработниками, и оказалось, что большинство из них не верит в эффективность средства. Поэтому на следующем этапе изменили программу обучения медработников, которые затем шли обучать женщин с детьми в домохозяйствах: в рамках обучения им наглядно объясняли, как работает средство от обезвоживания домашнего приготовления.

После этого программа охватила еще 30 тысяч домохозяйств, и опять провели оценку. Использование домашнего средства от обезвоживания для детей расширилось, но недостаточно для достижения цели BRAC: теперь средство использовали 19% домохозяйств, прошедших обучение. В этот момент BRAC привлек специалистов, которые провели глубинные интервью с женщинами, которых обучали медработники. И оказалось, что, когда ребенок заболевает, муж или свекровь могут не разрешить женщине использовать средство, которое ее научили готовить в программе. Соответственно, BRAC снова внес коррективы в свою программу, и в обучение стали вовлекать всех членов семьи, а само обучение проводить в общественных местах, чтобы донести информацию об эффективности применения профилактики обезвоживания до всех жителей сообщества. Параллельно проходила информационная кампания на радио и телевидении. И эффективность программы резко выросла. В итоге это стало одним из факторов, благодаря которым смертность среди детей до пяти лет в Бангладеш снизилась со 180 на тысячу родившихся в 1980-х до 53 на тысячу к концу 2010-х.

На мой взгляд, из этой истории можно вынести несколько уроков. Во-первых, это важность измерения не только непосредственных результатов программы (в данном случае – подсчет числа домохозяйств, которые прошли обучение), но и отсроченных опосредованных результатов (фактического применения полученных знаний). И для этого необходима оценка. Во-вторых, необходимость сочетания количественных методов сбора данных с качественными: опрос домохозяйств по случайной репрезентативной выборке позволил выявить проблему низкого использования полученных знаний, но именно качественные методы помогли определить причины и найти пути совершенствования программы.

воскресенье, 20 декабря 2020 г.

Оценка благотворительных программ бизнеса: анализ материалов конкурса "Лидеры корпоративной благотворительности" 2020

В этом году я была членом жюри конкурса «Лидеры корпоративной благотворительности» Форума доноров, и организаторы попросили меня проанализировать, как оценка используется в компаниях, которые участвовали в конкурсе, – на основании того, как они сами описали это в своих заявках. В итоге материал опубликовали в тематической вкладке в газете «Коммерсант»: https://www.kommersant.ru/doc/4616158. Оригинальную версию текста выкладываю здесь.

Оценка – это, по сути, обратная сторона планирования. На этапе планирование разработчики программ и проектов определяют, какие действия нужно предпринять, и какие результаты должны быть достигнуты, чтобы реализовать стратегическое видение, принятое руководством компании. А на этапе оценки смотрят, в какой степени были реализованы запланированные действия и достигнуты целевые значения результатов. Кроме того, на этапе оценке может проводиться и более глубокий анализ опыта, полученного в процессе реализации проекта или программы, чтобы вынести из него уроки на будущее. Результаты, полученные в ходе оценки, используют для определения стратегии и тактики работы в следующем управленческом цикле.

Оценка отвечает на информационные потребности руководства компании, а эти потребности зависят в том числе от того, как компания понимает, зачем она занимается благотворительной деятельностью: чтобы поддержать реализацию каких-то мероприятий, например, оплачивать лечение и отдых детям-сиротам; чтобы способствовать каким-то конкретным изменениям в жизни участников программ, например, повысить уровень их компетенций в какой-то сфере; либо чтобы улучшить жизнь людей в каком-то населенном пункте. Если горизонт планирования благотворительной деятельности ограничен мероприятиями, то для оценки этой деятельности будет достаточно получить отчеты о проведении запланированных мероприятий или направить сотрудников компании на эти мероприятия. Если же компания хочет, чтобы поддерживаемые социальные проекты приводили к изменениям в жизни людей и в тех сообществах, где они живут, то ей потребуется собирать информацию об этих изменениях, и процесс оценки становится более трудоемким.

Модель благотворительной деятельности как инструмента социальных изменений появилась сначала на западе. И там же сформировались подходы к оценке таких программ. Стандартом стала внешняя независимая оценка, которую проводят специалисты, которые не участвовали в разработке и реализации оцениваемых проектов и программ, и которые обладают специальными навыками сбора и анализа данных. Один из основных принципов такой оценки – сопоставление данных, полученных из нескольких источников информации и несколькими методами, чтобы обеспечить максимальную надежность и достоверность получаемой информации. На западе проведение такой оценки уже стало отдельной профессией, например, есть университетские программы, где можно получить соответствующее образование или ученую степень по оценке социальных проектов.

Если говорить о практике оценки благотворительных программ бизнеса в России, то, судя по заявкам, поданным в этом году на конкурс Форума доноров «Лидеры корпоративной благотворительности», «западная» модель оценки социальных проектов используется в первую очередь в иностранных компаниях. Например, компания «Сахалин Энерджи» проводит независимую внешнюю оценку проектов социальных инвестиций один раз в два года. Причем оценивают как отдельные краткосрочные проекты, которые были профинансированы компанией, так и стратегические партнерские программы, а также процессы и подходы в сфере реализации программ социальных инвестиций.

Похожий подход использует компания «Амвэй». Например, в 2019 году компания провела оценку программы «Мама-предприниматель». Методика оценки включала интервью с представителями федеральных соорганизаторов программы и онлайн опросы, в которых поучаствовали 206 выпускниц программы 2018 года (в том числе 30 победительниц) и 34 региональных партнера программы.

В результате оценки были определены направления дальнейшего развития программы «Мама-предприниматель». Например, оценка показала, что нужно улучшить образовательный блок программы, важно организовать сопровождение выпускниц, например, проводить для них консультации, поддерживать сетевое общение и поддерживать их стартапы, а также нужно обеспечить дифференцированный подход к участницам с разным уровнем подготовки. На основании результатов оценки «Амвэй» уже разработал и реализовал несколько пилотных проектов в рамках программы «Мама-предприниматель», чтобы протестировать новые направления работы.

А в 2018 году компания провела оценку влияния программ и проектов своего Благотворительного фонда, реализованных в 2013-2017 году. Исполнителем оценки был Фонд поддержки и развития филантропии «КАФ». Оценка проанализировала влияние деятельности Благотворительного фонда компании «Амвэй» на различные группы стейкхолдеров, роль фонда в формировании имиджа компании и во взаимодействии компании с властью, СМИ и местным сообществом, а также востребованность основных направлений работы фонда и возможные перспективы их развития.

По результатам оценки компания получила ряд рекомендаций, которые использовала для совершенствования работы своего Благотворительного фонда. Например, одной из рекомендаций было разработать мероприятия, которые бы были интересны Независимым предпринимателям (распространителям продукции) «Амвэй». Во исполнение данной рекомендации Благотворительный фонд, например, начал заниматься систематическим вовлечением Независимых предпринимателей «Амвэй» в программу «Мама-предприниматель».

При этом «западные» подходы к оценке программ и проектов начинают использовать и российские компании. (Здесь стоит отметить, что, так как в России термин оценка чаще означает вынесение суждения о программе по степени достижения целевых показателей, оценку со сбором и анализом дополнительных данных российские компании называют исследованием, хотя и видят ее как часть системы оценки.) Например, СИБУР ежегодно проводит комплексные исследования (оценку) эффективности своей благотворительной программы «Формула хороших дел», чтобы, в том числе, проанализировать результативность, устойчивость и коммуникационную эффективность проектов, получивших грантовую поддержку. Методика оценки, пример которой компания привела в своей заявке на конкурс, включала анализ проектной документации, сайтов организаций-победителей и аккаунтов в социальных сетях, анкетирование, интервью и фокус-группы с сотрудниками региональных предприятий, представителями местных властей, победителями и участниками грантового конкурса, а также благополучателями проектов.

СИБУР проводил эту оценку внутренними силами: всю работу выполнили специалисты программы «Формула хороших дел». Результаты оценки использовали, в том числе, для совершенствования процедур проведения конкурса и взаимодействия с партнерами и грантополучателями, для определения приоритетов программы на 2020 год.

Внешнюю оценку эффективности своих социальных инвестиций проводит Сибирская Угольная Энергетическая Компания (СУЭК). Методика оценки включает фокус-группы с представителями местных и региональных властей и некоммерческих организаций, опросы экспертов и участников мероприятий, а также обсуждение результатов программ на публичных мероприятиях с участием заинтересованных сторон.

Программы социальных инвестиций СУЭК направлены на повышение качества жизни людей в регионах присутствия компании, развитие предпринимательской и социальной инициативы местных сообществ. Для оценки достижения этих результатов компания раз в два-три года проводит социологические исследования. В их ходе собирают данные о том, с какими социальными проблемами люди сталкиваются, и насколько они информированы о социальной политике и социальных программах компании, и как они оценивают эти программы.

В 2019 году РУСАЛ – при финансовой поддержке Фонда президентсĸих грантов – провел комплексные исследования социальной сферы в городах Братсĸ, Тайшет и Шелехов Ирĸутсĸой области. Исследования включали анализ благотворительных программ РУСАЛ и поддержанных проеĸтов за предшествующие пять лет, а также анализ местных проблем и потребностей. Эта оценка выявила, например, наиболее востребованные решения местных задач социального развития. По результатам оценки РУСАЛ был дан ряд рекомендаций, например, относительно выстраивания совместной работы с городсĸими сообществами, малым бизнесом, органами власти и местного самоуправления.

Относительно новый тренд в оценке благотворительной деятельности связан с тем, что компании начинают ориентироваться не только на собственные цели, но и на Глобальные цели (Цели в области устойчивого развития) или национальные цели развития России. Соответственно, у руководства компаний возникает потребность в оценке вклада благотворительной деятельности или социальных инвестиций в достижение этих целей. Например, Coca-Cola приняла на себя ряд обязательств в области устойчивого развития, которые были разработаны на основе глобального исследования динамики соответствующих показателей за предыдущие годы для всех рынков. А СИБУР в рамках оценки программы «Формула хороших дел» проанализировал, как характер и тематика поддержанных проектов грантополучателей соотносится с национальными проектами и национальными целям развития.

В целом, судя по материалам, представленным участниками конкурса Форума доноров «Лидеры корпоративной благотворительности», нужно отметить, что использование компаниями оценки в рамках своей благотворительной деятельности соразмерно тому, как эта деятельность осуществляется. Компании, которые поддерживают небольшие грантовые проекты, срок реализации которых не превышает месяца, а бюджет – ста тысяч рублей, ограничиваются экспертной оценкой поданных проектных заявок и контролем реализации планов работы и достижения целевых значений индикаторов результатов профинансированными проектами. Общая оценка эффективности благотворительной программы компании делается силами сотрудников путем анализа отчетов по всем проектам. И такой подход оправдан, потому что небольшие проекты не приводят к изменениям, например, на уровне сообществ, которые можно измерить, поэтому нет особого смысла проводить такие исследования. Компании, которые поддерживают более масштабные проекты, которые могут иметь заметный социальный эффект, с большей вероятностью проводят также оценку, которая включает дополнительный сбор данных с использованием комплекса разных методов, чтобы выявить долгосрочное воздействие на людей, местные организации и местное сообщество в целом.

понедельник, 10 августа 2020 г.

«Открытые» программы

В последнее время мне регулярно попадаются программы, которые организуют серии связанных между собой мероприятий, но при этом не настаивают, и даже не ожидают, что конкретный благополучатель пример участие во всех мероприятиях серии. Например, организация проводит серию тренингов личностного роста, где у каждого отдельного тренинга есть своя отдельная тема, но при этом организатор принципиально не пытается связать потенциальных участников, для которых серия организована, хотя бы моральным обязательством посетить все занятия. Но одновременно организаторы ожидают, что у всех, кто их тренинги посетил, будут какие-то изменения в ожидаемом организаторами направлении.

Думаю, такие программы можно называть «открытыми», так как они постоянно открыты для потенциальных участников. Важным следствием такой открытости является то, что может быть множеств траекторий, по которым благополучатели проходят такую программы. Например, если в рамках программы проводится серия из десяти тренингов, то могут быть люди, которые участвовали во всех десяти, но кто-то, возможно, сходит только на первый, пятый и седьмой тренинги, а кто-то только на девятый.

Каким образом можно подойти к измерению (и планированию) воздействия такой программы на ее участников? На мой взгляд, в такой программе каждое мероприятие нужно рассматривать как отдельный проект со своими ожидаемыми результатами: изменениями в знаниях, навыках и эмоциональных установках участников. И нужно понимать, как изменения в результате каждого конкретного мероприятиях связаны с ожидаемыми результатами программы в целом.

Особое значение приобретает операционализация результатов типа «социальная адаптированность», «личностный рост» или «ресурсность семьи», потому что только при высоком уровне «распаковки» таких понятий можно объяснить, какой вклад в повышение «социальной адаптированности» может внести одно конкретное мероприятие.

Кроме того, в «открытых» программах важно измерять непосредственный эффект на участников от каждого мероприятия, потому что после его окончания любой участник может пропасть для организатора навсегда. Соответственно, возникают задачи сбора данных на входе и выходе с мероприятия, чтобы зафиксировать полученные изменения. Например, это может быть анкета, которую нужно заполнить при регистрации на мероприятие, и анкета, которую участника просят заполнить в конце мероприятия. 

И, конечно же, нужно отслеживать траектории и накопление результатов каждым конкретным участником.

воскресенье, 28 июня 2020 г.

Стандартизация как основа доказательности


Несколько дней назад в одной статье мне попался следующий комментарий медика: «Всем кажется, что музыка — это классно, и всем от нее хорошо. Но чтобы она стала терапией, нужно поставить терапевтическую цель, оценить некую функцию до вмешательства, стандартизировать само вмешательство и оценить его результат. Если эти условия соблюдать и доказать эффективность терапии, то любое вмешательство может стать терапией». (Автор комментария - Лев Брылев, невролог Городской клинической больницы имени Буянова и Центра реабилитации «Апрель». Статья была про то, как восстановиться после коронавируса.)

На мой взгляд, данный комментарий хорошо описывает подход медицинской профессии к доказательности, а именно то, что доказывать эффективность можно только для стандартизированного подхода.

В прошлом году я делала оценку двух больших программ, в рамках которых, в том числе, внедряли подходы, основанные на доказательной медицине, в национальные системы родовспоможения, благодаря чему получилось близко познакомиться как с тем, как доказательная медицина работает на практике.

Роды – это длительный процесс, в течение которого в любой момент что-то может пойти не так. Медики разделили этот процесс на этапы и определили ситуации, которые могут возникать на каждом этапе. И для каждой ситуации есть клинический протокол, то есть набор конкретных шагов, которые нужно предпринять, основанный на накопленных данных. Во время родов врачам нужно определить, с какой ситуацией они имеют дело в данный момент, и дальше действовать по соответствующему протоколу. (В клиниках, куда направляют женщин с повышенным риском осложнений, врачи используют несколько десятков клинических протоколов.) Такая система позволяет обеспечить, по сути, индивидуальный подход к каждой роженице, но с использованием комплекса стандартизованных практик с доказанной эффективностью.

Похожий подход начинает внедряться и в социальном проектировании. Например, в прошлом году Офис оценки Всемирного банка опубликовал обзор «Как изменить поведение: меню работающих подходов», в котором приведены практики, направленные на изменение моделей поведения, чья эффективность была доказана. Интересно, что предлагаемый подход к их использованию похож на то, что делают медики: сначала нужно определить, с какой ситуацией вы имеете дело, и уже исходя из этого выбрать подходящую практику.

вторник, 23 июня 2020 г.

Почему оценка называется оценкой?


Я недавно выступала на мероприятии, посвященном социальному проектированию. Спикер, выступавший передо мной, в общих чертах освещал весь цикл социального проектирования – от постановки цели до оценки, а я затем должна была подробнее рассказать об оценке. И когда этот спикер в своей презентации дошел до этапа оценки, он сказал, что есть несколько видов оценки, а именно: общественная экспертиза, общественные слушания и социальный аудит, то есть верификация результатов проекта внешним независимым специалистом. И добавил, что социальных аудиторов в России пока нет, и нужно развивать эту профессию с нуля. Поэтому свое выступление я начала с того, что социальные аудиторы вообще-то уже есть, и я один из них, вот только называемся мы специалистами по оценке социальных программ и проектов.

Изначально оценка использовалась именно как социальный аудит – для внешней верификации достижения ожидаемых результатов проектов, реализуемых на грантовые средства. Тогда почему она называется оценкой, а не аудитом? Все дело в стечении обстоятельств.

Одним из первых толчков к появлению оценки социальных проектов как профессии стало требование о проведении внешней оценки проектов в сфере школьного образования, получивших федеральные гранты, включенное в Закон о начальном и среднем образовании, который был принят в США в 1965 году. При принятии этого закона сошлось несколько звезд. Закон был принят в рамках «Войны с бедностью», объявленной президентом Линдоном Джонсоном. Джонсон был убежден, что образование – самый эффективный социальный лифт, так как именно образование позволило ему, выходцу из бедной семьи, построить блестящую карьеру. И поэтому он инициировал программу федеральных грантов на проекты, которые были призваны улучшить качество школьных знаний, получаемых детьми из бедных семей. Запуск и работу этой программы как раз и должен был регулировать Закон о начальном и среднем образовании.

Инициатором включения в этот закон требования о проведении оценки проектов был сенатор Роберт Кеннеди. Он опасался, что школы потратят деньги впустую, не принеся никакой пользы детям из бедных семей. И искал механизм, который бы позволил проконтролировать, достигаются ли результаты образовательных проектов, получивших федеральное финансирование.

И этот механизм ему помог найти Ральф Тайлер, к тому времени уже знаменитый ученый, работавший в сфере образования. Еще в 1949 году в книге «Базовые принципы формирования учебных планов и преподавания» (Basic Principles of Curriculum and Instruction) Тайлер писал, что нужно ставить образовательные цели, планировать и затем оценивать их достижение, и использовать результаты оценки для совершенствования процесса обучения. Тайлер использовал слово «evaluation» (оценка), и именно оно и было использовано в законе.

Достаточно быстро требование о проведении «evaluation» (оценки) распространилось и на другие проекты в социальной сфере, финансируемые из федерального бюджета. Соответственно, возник спрос на ее проведение, и началось активное развитие оценки как профессии.