четверг, 9 апреля 2020 г.

Десятилетие ОЦЕНКИ в поддержку действий по достижению Глобальных целей

Стартовало Десятилетие ОЦЕНКИ в поддержку действий по достижению Глобальных целей (www.eval4action.org).  Его цель – способствовать более широкому применению оценки как инструмента повышения результативности программ и проектов и более рациональному использованию выделяемых на их реализацию ресурсов, чтобы ускорить достижение Целей в области устойчивого развития (ЦУР), которые также часто называют Глобальными целями.

Десятилетие ОЦЕНКИ – это ответ профессионального сообщества специалистов в области оцени на призыв Генерального секретаря ООН Антониу Гутерриша ускорить достижение ЦУР, принятых в 2015 году. Анализ прогресса по ЦУР, проведенный ООН в 2019 году, показал, что, если не предпринять дополнительных усилий, многие из ЦУР не будут достигнуты к 2030  году, как планировалось. Поэтому в сентябре 2019 года Гутерриш объявил Десятилетие действий по достижению Глобальных целей и призвал все страны, организации и просто жителей Земли мобилизоваться и приложить максимум усилий на глобальном, национальном, местом и даже личном уровне, чтобы ускорить прогресс по ЦУР.

Инициатором Десятилетия ОЦЕНКИ выступила международная инициатива EvalPartners, которая объединяет национальные и региональные профессиональные объединения специалистов в области оценки, специалистов по оценке, работающих в системе ООН, а также других сторонников более широкого использования оценки для повышения эффективности программ и проектов развития, включая депутатов парламентов.

Поучаствовать в реализации цели Десятилетия ОЦЕНКИ может любая организация и любой человек, которым эта цель близка. Например, вы можете включить сессию, посвященную оценке, в свое мероприятие, разместить информацию о важности проведение оценки на своих страницах в социальных сетях, или использовать логотип Десятилетия в подписи электронной почты. И если ваша организация еще не делала оценку своих программ и проектов – начните ее делать!

среда, 8 апреля 2020 г.

Создание возможностей как цель социального воздействия

За последние пару недель я участвовала в обсуждении нескольких методик оценки социального воздействия (оно же социальное влияние, оно же социальный эффект, – у нас пока нет единого перевода английского «impact»). С одной стороны, радует растущий интерес в данной теме. С другой, меня смущает доминирование идеи, что результаты могут получаться только при непосредственном контакте между проектом или организацией и их целевой группой, например, когда людей чему-то обучают или оказывают им какие-то услуги. И чтобы измерить свое социальное воздействие проект или организации должны отследить, что потом меняется в жизни этих людей.

Смущает это меня потому, что социальные проекты создают то, что в экономике называют «общественными благами» («public good»). Особенность общественных благ в том, что от них одновременно могут получать пользу множество людей: например, яблоко – это не общественное благо, потому что, если вы его съели, больше никто его съесть не может, а вот цветущая яблоня в городском парке  - благо общественное, потому что ее красотой может одновременно любоваться много людей. Но при этом каждый, кто пользуется каким-то общественным благом, получает относительно небольшую пользу. И так как, согласно экономической теории, объем получаемой человеком пользы пропорционален количеству денег, которое он готов заплатить за какое-то благо, то мало кто будет готов приобрести какое-либо общественное благо самостоятельно и приходится делать это в складчину. Именно поэтому производство общественных благ является в первую очередь прерогативой государства, которое собирает для этого средства граждан в виде налогов. А работа НКО и корпоративная благотворительность и социальная ответственность – это, по сути, частное предпринимательство в сфере производства общественных благ.

Когда я изучала экономику общественных благ в 90-е, определить, сколько тот или иной человек реально готов заплатить за какое-то общественное благо, было очень сложно. Но сегодня, когда технологии позволяют жертвовать на благотворительность небольшие суммы, экономика общественных благ получила практическое подтверждение. Ведь когда человек перечисляет 100 рублей на лечение незнакомого ребенка, с точки зрения экономики это значит, что получаемая им польза от того, что ребенок получит лечение, эквивалентна как минимум 100 рублям. И людей, для которых лечение чужих детей – благо, достаточно много, чтобы фондам удавалось собирать достаточно денег для десятков и даже сотен детей.

Но лечение – это опять услуга, которую получает конкретный человек. Я думаю, что пандемия COVID-19 должна нам заставить осознать, что общественным благом является не только сама услуга, но и потенциальная возможность получить ее. Думаю, сегодня многие из нас надеются, что если, не дай бог, потребуется нам или кому-то из близких, то в больнице будет свободный аппарат искусственной вентиляции легких. И уверенность, что такой аппарат есть, даже если он вам никогда не потребуется, - тоже ценность.

Насколько мне известно, одним из первых об этой разновидности общественных благ стал говорить лауреат Нобелевской премии по экономике Амартья Сен. Он назвал их «capabilities», что можно перевести как «возможности». Например, возможность получить высшее образование – благо для любого человека, даже если конкретный человек решит не использовать эту возможность. Возможность получить медицинскую помощь – благо, даже если она никогда вам не потребуется.

Во время одного из обсуждений методик оценки социального воздействия прозвучало, что некоторые компании не занимаются стратегической благотворительностью, а ремонтируют детские площадки в городах присутствия, и никакого социального воздействия от этого нет. А я вот теперь думаю, что очень даже есть: у людей, особенно тех, у кого есть дети, появилась возможность выйти на хорошую детскую площадку. И что это ценность, отчетливо начинаешь понимать сегодня, когда выйти на нее из-за режима самоизоляции нельзя.

четверг, 19 марта 2020 г.

Глокальность оценки

1-5 июня Всемирный банк проводит очередную Глокальную неделю оценки. Прилагательное «глокальный» - гибрид слов «глобальный» и «локальный». Глокальная неделя призвана напомнить профессиональному сообществу специалистов в области оценки, что, с одной стороны, международные тренды в теории оценки влияют на ее практику на местном уровне, а с другой стороны, осмысление местного опыта оценки влияет на развитие теории оценки в глобальном масштабе.

В 1980-е, когда я изучала экологию и устойчивое развитие, одним из лозунгов в области окружающей среды было: «Мысли глобально, действуй локально». Сегодня этот лозунг дошел и до оценки проектов и программ. Например, в рекомендациях по применению новых критериев КСР ОЭСР указано, что хотя критерии задуманы как универсальные, то есть, по сути глобальные, на практике они должны быть интерпретированы в случае каждой конкретной оценки с учетом ее контекста, то есть, локализованы. А в рамках подхода Blue Marble evaluation (оценки в масштабе Земного шара), предложенного Майклом Пэттоном, важными критериями оценки являются глобальность, который измеряет действительно ли проект работает в глобальном (планетарном) масштабе, и соответствие действий в рамках проекта на локальном уровне его глобальной задаче.

вторник, 10 марта 2020 г.

Новые критерии оценки


В декабре прошлого года Комитет содействия развитию Организации экономического сотрудничества и развития (КСР ОЭСР), также широко известный по своей английской аббревиатуре OECD-DAC, принял обновленный набор критериев оценки. Новая версия критериев стала результатом широкого обсуждения среди специалистов в области оценки. Любопытно, что специалист Комитета, представляя новые критерии на недавнем вебинаре, специально подчеркнула, что на новые формулировки критериев в значительной мере повлияла Повестка 2030, определяющая цели в области устойчивого развития (ЦУР). Примеры такого влияние – усиление фокуса на благополучателей при описании критерия «Актуальность», появление критерия «Согласованность», который анализируем «совместимость» оцениваемого проекта с другими проектами, реализуемыми в том же секторе, и указание на то, что нужно анализировать результаты проекта для разных групп заинтересованных сторон, при описании критерия «Результативность».

Момент, который мне очень понравился в описании того, как надо применять критерии, – это принцип осознанности, вдумчивости. Критерии нельзя применять механически, в случае каждой оценки нужно учитывать ее контекст и потребности заинтересованных сторон.

Ниже привожу сокращенный перевод описания новых критериев на сайте КСР ОЭСР. С полной версией – на английском – можно познакомиться на сайте организации: DAC criteria

Зачем нужны критерии оценки
Критерии нужны, чтобы можно было определить ценность оцениваемого проекта, программы или другой интервенции. Каждый критерий представляет собой особый угол зрения, под которым можно рассматривать интервенцию. А в совокупности критерии дают возможность получить комплексное представление о процессе реализации и результатах проекта или программы.

Критерии также выполняют роль нормативов. Они описывают характеристики, которыми должны обладать проекты и программы: все проекты и программы должны соответствовать условиям своей реализации, быть согласованными с другими программами и проектами, достигать ожидаемых результатов, рационально использовать выделенные ресурсы и иметь позитивное долгосрочное влияние.

Критерии используются не только при проведении оценки, но и при планировании интервенций и в целом в рамках управления по результатам.

Как нужно использовать критерии оценки
При применении критериев нужно придерживаться следующих принципов:
  1. Критерии нужно применять осознанно, вдумчиво. Это позволит обеспечить высокое качество оценки. Критерии нужно обязательно интерпретировать в контексте конкретной оценки с учетом особенностей оцениваемого проекта и его заинтересованных сторон. Основой для интерпретации критериев служат вопросы оценки и то, как будут использоваться ответы на них.
  2. Использование критериев зависит от назначения оценки. Критерии нельзя применять механически. Нужно учитывать потребности заинтересованных сторон и контекст оценки. Количество времени и ресурсов, выделяемых на анализ каждого критерия, может меняться в зависимости от назначения оценки. Доступность данных, ограничения по объему имеющихся ресурсов и времени, методологические соображения – все это может влиять на решение, какие критерии оценки использовать в конкретном случае.

Критерии определение
Актуальность – соответствие целей и дизайна проекта или программы потребностям благополучателей, а также международным и национальным политикам, приоритетам и потребностям и политикам, приоритетам и потребностям организаций партнеров. Цели и дизайн проекта или программы должны быть актуальными как на момент разработки проекта или программы, так и в процессе их реализации, даже если условия этой реализации меняются.

При анализе актуальности проекта или программы нужно рассмотреть наличие возможных конфликтов между приоритетами различных заинтересованных сторон. Также нужно проанализировать, как менялись условия реализации проекта или программы, и как при этом изменялся сам проект или программа, чтобы сохранить актуальность.

Согласованность/ гармоничность – совместимость проекта или программы с другими проектами или программами, которые реализуются в данной стране, секторе или организации.

В ходе оценки нужно проанализировать, в какой степени данный проект или программа способствуют или, наоборот, мешают реализации других проектов, программ и политик. Есть внутренняя и внешняя согласованность. Анализ внутренней согласованности предполагает рассмотрение наличия синергии между оцениваемой интервенцией и другими интервенциями данной организации или правительства, а также с международными нормами и стандартами, которых данная организация или правительство придерживаются. Анализ внешней согласованности предполагает рассмотрение степени гармонизации, скоординированности, отсутствия дублирования или, наоборот, наличия противоречий и дублирования между оцениваемой программой или проектов и программами и проектами других организаций, работающих в том же секторе.

Результативность – степень достижения ожидаемых результатов и наличие различных результатов для различных групп. При анализе результативности необходимо учитывать степень значимости тех или иных результатов.

Рациональность использования ресурсов – насколько экономно и своевременно использовались выделенные ресурсы для получения результатов. Анализ экономичности предполагает сравнение реальных затрат на получение результатов с затратами, которые бы возникли при других, альтернативных способах получения таких же результатов. Анализ своевременности предполагает сравнение фактических и запланированных сроков реализации проекта или программы с учетом их адаптации к меняющимся условиям.

Влияние – в какой степени проект или программа привели или могут привести к заметным позитивным или негативным запланированным или незапланированным результатам высокого уровня.

При анализе влияния нужно рассматривать значимость и потенциальные трансформационные эффекты проекта или программы: социальные, экологические и экономические. Эффекты могут включать изменение в существующих системах и нормах, которые приводят к изменению уровня благосостояния людей, степени соблюдения прав человека, гендерного равенства и качества природной среды.


Устойчивость – как долго сохранятся или могут сохраниться позитивные результаты проекта или программы.

Анализ устойчивости предполагает рассмотрение финансового, экономического, природного и институционального потенциала систем, на которые воздействовал проект или программа, с точки зрения того, насколько эти системы смогут обеспечить сохранение позитивных результатов проекта с течением времени. 


четверг, 5 марта 2020 г.

Простой анализ эффективности использования ресурсов


Разбирала старые материалы по оценке эффективности, и нашла описание – на русском – симпатичного метода для оценки эффективности использования ресурсов. (Сейчас уже и не вспомню, когда и для чего делала это описание.) Метод, который представляет собой упрощенный вариант анализа затрат и полученных результатов, был разработан Брайаном Кугельманом и Евой Отеро для сравнительного анализа эффективности отдельных компонентов адвокационной кампании, посвященной вопросам изменения климата, британской некоммерческой организации Oxfam. Он так и называется - простой анализ эффективности использования ресурсов (Basic efficiency resource analysis).

Метод предполагает определение субъективной оценки заинтересованными сторонами объема ресурсов, выделенных различным подразделениями или на различные направления работы, и размера результатов, полученных этими подразделениями или этими направлениями. Затем полученные оценки накладываются на следующую матрицу (модель):


Процесс начинается с определение единицы анализа – это может быть структурное подразделение или компонент проекта – и составления перечня этих единиц. Делается это на основании анализа проектной документации или данных, собранных с помощью полуструктурированных интервью с заинтересованными сторонами, либо обоих этих источников информации одновременно. Полученный перечень единиц анализа необходимо согласовать с заказчиком. Если у проекта много компонентов, то для экономии сил и времени можно ограничиться анализом только самых важных компонентов.

Например, для адвокационной кампании Oxfam Кугельман и Отеро выделили следующие компоненты:

  • Построение коалиций;
  • Лоббирование;
  • Работа со СМИ;
  • Коммуникации в социальных сетях;
  • Научные публикации.


Следующий шаг – составление так называемой карты заинтересованных сторон. Она представляет собой полный список заинтересованных сторон с указанием, относительно работы каких компонентов программы или каких структурных подразделений можно получить информацию у представителей той или иной заинтересованной стороны.

Далее нужно принять решение, по каким параметрам будет измеряться объем использованных ресурсов и размер полученных результатов по каждому компоненту. Примеры параметров, которые можно использовать, приведены ниже:


Параметры для определения объема использованных ресурсов
Параметры для определения размера полученных результатов
  • Бюджет (субъективная оценка респондентов или реальный)
  • Число сотрудников
  • Уровень квалификации сотрудников

  • Как часто ключевое понятие упоминается в принятой политике
  • Число публикаций
  • Число участников мероприятий
  • Субъективная оценка влияния компонента
  • Измеряемые изменения в законодательстве и нормативной базе


Сбор данных для оценки объема использованных ресурсов и размера можно проводить как методом полуструктурированных интервью, так и методом опроса. В первом случае полученную качественную информацию нужно будет обработать, используя следующий инструмент:


Компонент
Оценка объема использованных ресурсов
Оценка размера полученных результатов
Компонент А
Ниже среднего
Средний
Выше среднего
Респондент затруднился ответить
Ниже среднего
Средний
Выше среднего
Респондент затруднился ответить

При проведении опроса Кугельман и Отеро рекомендуют использовать шестиступенчатую шкалу Ликкерта. Ниже приведен пример того, как может выглядеть анкета для участников опроса:
Вопрос 1. Насколько вы согласны с тем, что организации В удалось добиться изменения законодательных и нормативных актов благодаря указанным ниже действиям?
Действие
1
Совершенно не согласен
2
3
4
5
6
Совершенно согласен
Затрудняюсь ответить
Кампания в социальных сетях







Научные публикации







Лоббирование








Вопрос 2. Для реализации данных действий организация использовала различные ресурсы: финансовые средства, время, силы, знания и навыки сотрудников. На ваш взгляд, сколько ресурсов организация В использовала для осуществления указанных ниже действий?
Действие
1
Слишком мало
2
3
4
5
6
Слишком много
Затрудняюсь ответить
Кампания в социальных сетях







Научные публикации







Лоббирование








Использование шестиступенчатой шкалы вынуждает людей более тщательно обдумывать свои ответы, а также упрощает проведение дальнейшего анализа. Полученные данные можно разделить либо на две категории (мало (1-3) или много (4-6)), либо три (мало (1-2), средне (3-4), много (5-6)).

При возможности данные, полученные в ходе интервью и опроса полезно сравнить с количественными характеристиками использованных ресурсов и полученных результатов, потому что субъективная оценка заинтересованных сторон может быть существенно искажена. Но, как отмечают Кугельман и Отеро, можно ограничиться и только субъективными данными.



Кугельман и Отеро предложили несколько вариантов графического представления данных для сравнительного анализа компонентов программы:
  1. Квадранты (вверху). Данный вариант позволяет наглядно показать относительное количество использованных ресурсом и полученных результатов по разным компонентам проекта.
  2. Столбчатая диаграмма (внизу). Она позволяет сравнить эффективность различных компонентов.


Описанный метод анализа эффективности использования ресурсов позволяет выделить компоненты проекта, которые работают с эффективностью выше и ниже среднего. Авторы метода рекомендует рассматривать результаты анализа как отправную точку для обсуждения работы компонентов программы и факторов, которые на нее влияют. Они отмечают, что низкая эффективность может быть связана с тем, что данный компонент работает в неблагоприятных условиях, а высокая эффективность может связана с благоприятными внешними условиями.

пятница, 14 февраля 2020 г.

День влюбленных в оценку


Несколько лет назад американский специалист по оценке Джон Гаргани предложил отмечать 15 февраля EVALentines Day – День влюбленных в оценку.
Почему я люблю оценку проектов и хочу отмечать этот день? Потому что каждая оценка по-своему уникальна. У тебя есть набор инструментов и моделей, и каждый раз нужно решить, какие из них лучше всего подходят в данной ситуации. Но самое классное – это когда заказчик использует результаты проведенной тобой оценки, и ты потом узнаешь, что его проект стал лучше работать.


четверг, 31 октября 2019 г.

ЦУР нужна оценка

На недавней конференции Ассоциации специалистов по оценке программ и проектов Форум доноров организовал круглый стол, посвященный Целям устойчивого развития. Один из участников, представитель российского правительства, рассказал, как идет подготовка первого Добровольного национального доклада России о степени достижения ЦУР (и что есть установка показать в нем страну с лучшей стороны).
Такие доклады – главный инструмент анализа странами хода реализации ЦУР, глобальных целей, под которыми все страны мира «подписались» в сентябре 2015 года. Первые добровольные национальные доклады были представлены в 2016 году, и всего в 2016 -2019 годах было представлено 142 таких доклада, причем 15 стран представляли свои доклады уже дважды.

Повестка 2030, в которой сформулированы ЦУР, отмечает, что оценка должна быть одним из инструментов анализа хода реализации ЦУР. Но пока ни один из 142 представленных докладов о проведении подобной оценки и ее результатах не упоминал. Из-за этого, как недавно написал латиноамериканский аналитический центр Cepei, доклады стран «статичны»: они описывают степень достижения ЦУР на момент подготовки доклада, но ничего не говорят о процессах реализации ЦУР и уроках, извлеченных из полученного опыта.

Специалисты Cepei призывают перейти на новый формат докладов по ЦУР – «динамичный», особенно при подготовке вторых и последующих докладов. Такой доклад должен не просто констатировать степень достижения страной ЦУР, но и анализировать процесс этого достижения. «Доклады должны отвечать на вопросы типа «Какого прогресса мы добились с момента представления предыдущего доклада?», «Что получилось, а что нет?», «Почему мы добились (или не добились) успеха в достижении поставленных целей?», «Сможем ли мы реализовать все ЦУР к 2030 году?», «Какие уроки можно вынести из опыта реализации ЦУР в стране?».

И это именно те вопросы, на которые умеет отвечать оценка. Так что, по сути, идея динамичного формата добровольных докладов – очередное напоминание о том, что при анализе реализации ЦУР нужно использовать оценку.