Оценка благотворительных программ бизнеса: анализ материалов конкурса "Лидеры корпоративной благотворительности" 2020

В этом году я была членом жюри конкурса «Лидеры корпоративной благотворительности» Форума доноров, и организаторы попросили меня проанализировать, как оценка используется в компаниях, которые участвовали в конкурсе, – на основании того, как они сами описали это в своих заявках. В итоге материал опубликовали в тематической вкладке в газете «Коммерсант»: https://www.kommersant.ru/doc/4616158. Оригинальную версию текста выкладываю здесь.

Оценка – это, по сути, обратная сторона планирования. На этапе планирование разработчики программ и проектов определяют, какие действия нужно предпринять, и какие результаты должны быть достигнуты, чтобы реализовать стратегическое видение, принятое руководством компании. А на этапе оценки смотрят, в какой степени были реализованы запланированные действия и достигнуты целевые значения результатов. Кроме того, на этапе оценке может проводиться и более глубокий анализ опыта, полученного в процессе реализации проекта или программы, чтобы вынести из него уроки на будущее. Результаты, полученные в ходе оценки, используют для определения стратегии и тактики работы в следующем управленческом цикле.

Оценка отвечает на информационные потребности руководства компании, а эти потребности зависят в том числе от того, как компания понимает, зачем она занимается благотворительной деятельностью: чтобы поддержать реализацию каких-то мероприятий, например, оплачивать лечение и отдых детям-сиротам; чтобы способствовать каким-то конкретным изменениям в жизни участников программ, например, повысить уровень их компетенций в какой-то сфере; либо чтобы улучшить жизнь людей в каком-то населенном пункте. Если горизонт планирования благотворительной деятельности ограничен мероприятиями, то для оценки этой деятельности будет достаточно получить отчеты о проведении запланированных мероприятий или направить сотрудников компании на эти мероприятия. Если же компания хочет, чтобы поддерживаемые социальные проекты приводили к изменениям в жизни людей и в тех сообществах, где они живут, то ей потребуется собирать информацию об этих изменениях, и процесс оценки становится более трудоемким.

Модель благотворительной деятельности как инструмента социальных изменений появилась сначала на западе. И там же сформировались подходы к оценке таких программ. Стандартом стала внешняя независимая оценка, которую проводят специалисты, которые не участвовали в разработке и реализации оцениваемых проектов и программ, и которые обладают специальными навыками сбора и анализа данных. Один из основных принципов такой оценки – сопоставление данных, полученных из нескольких источников информации и несколькими методами, чтобы обеспечить максимальную надежность и достоверность получаемой информации. На западе проведение такой оценки уже стало отдельной профессией, например, есть университетские программы, где можно получить соответствующее образование или ученую степень по оценке социальных проектов.

Если говорить о практике оценки благотворительных программ бизнеса в России, то, судя по заявкам, поданным в этом году на конкурс Форума доноров «Лидеры корпоративной благотворительности», «западная» модель оценки социальных проектов используется в первую очередь в иностранных компаниях. Например, компания «Сахалин Энерджи» проводит независимую внешнюю оценку проектов социальных инвестиций один раз в два года. Причем оценивают как отдельные краткосрочные проекты, которые были профинансированы компанией, так и стратегические партнерские программы, а также процессы и подходы в сфере реализации программ социальных инвестиций.

Похожий подход использует компания «Амвэй». Например, в 2019 году компания провела оценку программы «Мама-предприниматель». Методика оценки включала интервью с представителями федеральных соорганизаторов программы и онлайн опросы, в которых поучаствовали 206 выпускниц программы 2018 года (в том числе 30 победительниц) и 34 региональных партнера программы.

В результате оценки были определены направления дальнейшего развития программы «Мама-предприниматель». Например, оценка показала, что нужно улучшить образовательный блок программы, важно организовать сопровождение выпускниц, например, проводить для них консультации, поддерживать сетевое общение и поддерживать их стартапы, а также нужно обеспечить дифференцированный подход к участницам с разным уровнем подготовки. На основании результатов оценки «Амвэй» уже разработал и реализовал несколько пилотных проектов в рамках программы «Мама-предприниматель», чтобы протестировать новые направления работы.

А в 2018 году компания провела оценку влияния программ и проектов своего Благотворительного фонда, реализованных в 2013-2017 году. Исполнителем оценки был Фонд поддержки и развития филантропии «КАФ». Оценка проанализировала влияние деятельности Благотворительного фонда компании «Амвэй» на различные группы стейкхолдеров, роль фонда в формировании имиджа компании и во взаимодействии компании с властью, СМИ и местным сообществом, а также востребованность основных направлений работы фонда и возможные перспективы их развития.

По результатам оценки компания получила ряд рекомендаций, которые использовала для совершенствования работы своего Благотворительного фонда. Например, одной из рекомендаций было разработать мероприятия, которые бы были интересны Независимым предпринимателям (распространителям продукции) «Амвэй». Во исполнение данной рекомендации Благотворительный фонд, например, начал заниматься систематическим вовлечением Независимых предпринимателей «Амвэй» в программу «Мама-предприниматель».

При этом «западные» подходы к оценке программ и проектов начинают использовать и российские компании. (Здесь стоит отметить, что, так как в России термин оценка чаще означает вынесение суждения о программе по степени достижения целевых показателей, оценку со сбором и анализом дополнительных данных российские компании называют исследованием, хотя и видят ее как часть системы оценки.) Например, СИБУР ежегодно проводит комплексные исследования (оценку) эффективности своей благотворительной программы «Формула хороших дел», чтобы, в том числе, проанализировать результативность, устойчивость и коммуникационную эффективность проектов, получивших грантовую поддержку. Методика оценки, пример которой компания привела в своей заявке на конкурс, включала анализ проектной документации, сайтов организаций-победителей и аккаунтов в социальных сетях, анкетирование, интервью и фокус-группы с сотрудниками региональных предприятий, представителями местных властей, победителями и участниками грантового конкурса, а также благополучателями проектов.

СИБУР проводил эту оценку внутренними силами: всю работу выполнили специалисты программы «Формула хороших дел». Результаты оценки использовали, в том числе, для совершенствования процедур проведения конкурса и взаимодействия с партнерами и грантополучателями, для определения приоритетов программы на 2020 год.

Внешнюю оценку эффективности своих социальных инвестиций проводит Сибирская Угольная Энергетическая Компания (СУЭК). Методика оценки включает фокус-группы с представителями местных и региональных властей и некоммерческих организаций, опросы экспертов и участников мероприятий, а также обсуждение результатов программ на публичных мероприятиях с участием заинтересованных сторон.

Программы социальных инвестиций СУЭК направлены на повышение качества жизни людей в регионах присутствия компании, развитие предпринимательской и социальной инициативы местных сообществ. Для оценки достижения этих результатов компания раз в два-три года проводит социологические исследования. В их ходе собирают данные о том, с какими социальными проблемами люди сталкиваются, и насколько они информированы о социальной политике и социальных программах компании, и как они оценивают эти программы.

В 2019 году РУСАЛ – при финансовой поддержке Фонда президентсĸих грантов – провел комплексные исследования социальной сферы в городах Братсĸ, Тайшет и Шелехов Ирĸутсĸой области. Исследования включали анализ благотворительных программ РУСАЛ и поддержанных проеĸтов за предшествующие пять лет, а также анализ местных проблем и потребностей. Эта оценка выявила, например, наиболее востребованные решения местных задач социального развития. По результатам оценки РУСАЛ был дан ряд рекомендаций, например, относительно выстраивания совместной работы с городсĸими сообществами, малым бизнесом, органами власти и местного самоуправления.

Относительно новый тренд в оценке благотворительной деятельности связан с тем, что компании начинают ориентироваться не только на собственные цели, но и на Глобальные цели (Цели в области устойчивого развития) или национальные цели развития России. Соответственно, у руководства компаний возникает потребность в оценке вклада благотворительной деятельности или социальных инвестиций в достижение этих целей. Например, Coca-Cola приняла на себя ряд обязательств в области устойчивого развития, которые были разработаны на основе глобального исследования динамики соответствующих показателей за предыдущие годы для всех рынков. А СИБУР в рамках оценки программы «Формула хороших дел» проанализировал, как характер и тематика поддержанных проектов грантополучателей соотносится с национальными проектами и национальными целям развития.

В целом, судя по материалам, представленным участниками конкурса Форума доноров «Лидеры корпоративной благотворительности», нужно отметить, что использование компаниями оценки в рамках своей благотворительной деятельности соразмерно тому, как эта деятельность осуществляется. Компании, которые поддерживают небольшие грантовые проекты, срок реализации которых не превышает месяца, а бюджет – ста тысяч рублей, ограничиваются экспертной оценкой поданных проектных заявок и контролем реализации планов работы и достижения целевых значений индикаторов результатов профинансированными проектами. Общая оценка эффективности благотворительной программы компании делается силами сотрудников путем анализа отчетов по всем проектам. И такой подход оправдан, потому что небольшие проекты не приводят к изменениям, например, на уровне сообществ, которые можно измерить, поэтому нет особого смысла проводить такие исследования. Компании, которые поддерживают более масштабные проекты, которые могут иметь заметный социальный эффект, с большей вероятностью проводят также оценку, которая включает дополнительный сбор данных с использованием комплекса разных методов, чтобы выявить долгосрочное воздействие на людей, местные организации и местное сообщество в целом.

«Открытые» программы

В последнее время мне регулярно попадаются программы, которые организуют серии связанных между собой мероприятий, но при этом не настаивают, и даже не ожидают, что конкретный благополучатель пример участие во всех мероприятиях серии. Например, организация проводит серию тренингов личностного роста, где у каждого отдельного тренинга есть своя отдельная тема, но при этом организатор принципиально не пытается связать потенциальных участников, для которых серия организована, хотя бы моральным обязательством посетить все занятия. Но одновременно организаторы ожидают, что у всех, кто их тренинги посетил, будут какие-то изменения в ожидаемом организаторами направлении.

Думаю, такие программы можно называть «открытыми», так как они постоянно открыты для потенциальных участников. Важным следствием такой открытости является то, что может быть множеств траекторий, по которым благополучатели проходят такую программы. Например, если в рамках программы проводится серия из десяти тренингов, то могут быть люди, которые участвовали во всех десяти, но кто-то, возможно, сходит только на первый, пятый и седьмой тренинги, а кто-то только на девятый.

Каким образом можно подойти к измерению (и планированию) воздействия такой программы на ее участников? На мой взгляд, в такой программе каждое мероприятие нужно рассматривать как отдельный проект со своими ожидаемыми результатами: изменениями в знаниях, навыках и эмоциональных установках участников. И нужно понимать, как изменения в результате каждого конкретного мероприятиях связаны с ожидаемыми результатами программы в целом.

Особое значение приобретает операционализация результатов типа «социальная адаптированность», «личностный рост» или «ресурсность семьи», потому что только при высоком уровне «распаковки» таких понятий можно объяснить, какой вклад в повышение «социальной адаптированности» может внести одно конкретное мероприятие.

Кроме того, в «открытых» программах важно измерять непосредственный эффект на участников от каждого мероприятия, потому что после его окончания любой участник может пропасть для организатора навсегда. Соответственно, возникают задачи сбора данных на входе и выходе с мероприятия, чтобы зафиксировать полученные изменения. Например, это может быть анкета, которую нужно заполнить при регистрации на мероприятие, и анкета, которую участника просят заполнить в конце мероприятия. 

И, конечно же, нужно отслеживать траектории и накопление результатов каждым конкретным участником.

Стандартизация как основа доказательности

Несколько дней назад в одной статье мне попался следующий комментарий медика: «Всем кажется, что музыка — это классно, и всем от нее хорошо. Но чтобы она стала терапией, нужно поставить терапевтическую цель, оценить некую функцию до вмешательства, стандартизировать само вмешательство и оценить его результат. Если эти условия соблюдать и доказать эффективность терапии, то любое вмешательство может стать терапией». (Автор комментария - Лев Брылев, невролог Городской клинической больницы имени Буянова и Центра реабилитации «Апрель». Статья была про то, как восстановиться после коронавируса.)

На мой взгляд, данный комментарий хорошо описывает подход медицинской профессии к доказательности, а именно то, что доказывать эффективность можно только для стандартизированного подхода.

В прошлом году я делала оценку двух больших программ, в рамках которых, в том числе, внедряли подходы, основанные на доказательной медицине, в национальные системы родовспоможения, благодаря чему получилось близко познакомиться как с тем, как доказательная медицина работает на практике.

Роды – это длительный процесс, в течение которого в любой момент что-то может пойти не так. Медики разделили этот процесс на этапы и определили ситуации, которые могут возникать на каждом этапе. И для каждой ситуации есть клинический протокол, то есть набор конкретных шагов, которые нужно предпринять, основанный на накопленных данных. Во время родов врачам нужно определить, с какой ситуацией они имеют дело в данный момент, и дальше действовать по соответствующему протоколу. (В клиниках, куда направляют женщин с повышенным риском осложнений, врачи используют несколько десятков клинических протоколов.) Такая система позволяет обеспечить, по сути, индивидуальный подход к каждой роженице, но с использованием комплекса стандартизованных практик с доказанной эффективностью.

Похожий подход начинает внедряться и в социальном проектировании. Например, в прошлом году Офис оценки Всемирного банка опубликовал обзор «Как изменить поведение: меню работающих подходов», в котором приведены практики, направленные на изменение моделей поведения, чья эффективность была доказана. Интересно, что предлагаемый подход к их использованию похож на то, что делают медики: сначала нужно определить, с какой ситуацией вы имеете дело, и уже исходя из этого выбрать подходящую практику.

Почему оценка называется оценкой?

Я недавно выступала на мероприятии, посвященном социальному проектированию. Спикер, выступавший передо мной, в общих чертах освещал весь цикл социального проектирования – от постановки цели до оценки, а я затем должна была подробнее рассказать об оценке. И когда этот спикер в своей презентации дошел до этапа оценки, он сказал, что есть несколько видов оценки, а именно: общественная экспертиза, общественные слушания и социальный аудит, то есть верификация результатов проекта внешним независимым специалистом. И добавил, что социальных аудиторов в России пока нет, и нужно развивать эту профессию с нуля. Поэтому свое выступление я начала с того, что социальные аудиторы вообще-то уже есть, и я один из них, вот только называемся мы специалистами по оценке социальных программ и проектов.

Изначально оценка использовалась именно как социальный аудит – для внешней верификации достижения ожидаемых результатов проектов, реализуемых на грантовые средства. Тогда почему она называется оценкой, а не аудитом? Все дело в стечении обстоятельств.

Одним из первых толчков к появлению оценки социальных проектов как профессии стало требование о проведении внешней оценки проектов в сфере школьного образования, получивших федеральные гранты, включенное в Закон о начальном и среднем образовании, который был принят в США в 1965 году. При принятии этого закона сошлось несколько звезд. Закон был принят в рамках «Войны с бедностью», объявленной президентом Линдоном Джонсоном. Джонсон был убежден, что образование – самый эффективный социальный лифт, так как именно образование позволило ему, выходцу из бедной семьи, построить блестящую карьеру. И поэтому он инициировал программу федеральных грантов на проекты, которые были призваны улучшить качество школьных знаний, получаемых детьми из бедных семей. Запуск и работу этой программы как раз и должен был регулировать Закон о начальном и среднем образовании.

Инициатором включения в этот закон требования о проведении оценки проектов был сенатор Роберт Кеннеди. Он опасался, что школы потратят деньги впустую, не принеся никакой пользы детям из бедных семей. И искал механизм, который бы позволил проконтролировать, достигаются ли результаты образовательных проектов, получивших федеральное финансирование.

И этот механизм ему помог найти Ральф Тайлер, к тому времени уже знаменитый ученый, работавший в сфере образования. Еще в 1949 году в книге «Базовые принципы формирования учебных планов и преподавания» (Basic Principles of Curriculum and Instruction) Тайлер писал, что нужно ставить образовательные цели, планировать и затем оценивать их достижение, и использовать результаты оценки для совершенствования процесса обучения. Тайлер использовал слово «evaluation» (оценка), и именно оно и было использовано в законе.

Достаточно быстро требование о проведении «evaluation» (оценки) распространилось и на другие проекты в социальной сфере, финансируемые из федерального бюджета. Соответственно, возник спрос на ее проведение, и началось активное развитие оценки как профессии.

Какой тип подхода к работе с благополучателями использует оцениваемый проект: стандартизованный или индивидуальный?

Я очень люблю свою профессию, потому что каждая новая оценка заставляет думать, и каждый раз понимаешь для себя что-то новое. Инсайт этой недели – на этапе анализа объекта оценки, когда нужно разобраться, как он работает, одна из первых задач – понять, какой тип подхода к организации работы с благополучателями используется: стандартизованный или индивидуальный.

Оценка как профессия формировалась с 1970-80-е годы, когда верили, что можно найти оптимальный механизм, то есть набор конкретных действий, для решения любой социальной проблемы, - то есть, что-то похожее на кулинарный рецепт, в котором говорится, сколько каких продуктов нужно взять и что с ними сделать. И затем такой рецепт-механизм, разработанный для решения определенной проблемы, можно будет применить к любому человеку, у которого есть данная проблема, и проблема решится.

У такого подхода масса преимуществ. Например, исполнителю, который работает по готовому рецепту, достаточно более низкого уровня квалификации, чем человеку, который разрабатывает рецепты. Рецепт можно применять, не тратя времени на раздумья, поэтому повышается производительность работы. В результате сокращаются затраты на применение «рецепта» к одному благополучателю, то есть повышается экономическая эффективность деятельности. Кстати, оценка «продавала» себя потенциальным заказчикам - организациям, реализующим проекты и программы социальной направленности, как инструмент, которые поможет найти самый эффективный (и, по сути, самый дешевый) рецепт.

Вот только на практике идея, что использование стандартизованной процедуры будет в каждом случае давать абсолютно одинаковый результат, работает довольно условно. Даже при штамповке на автоматизированном станке все произведенные детали немного отличаются друг от друга. А в социальной сфере разброс результатов всегда довольно значительный: для кого-то из благополучателей «рецепт» дает результаты сильно выше среднего, для кого-то – ближе к среднему, а для кого-то – настолько ниже среднего, что они совсем не дотягивают до ожидаемого результата.

Левая часть картинки – хорошая тому иллюстрация. Ожидаемый результат данного «проекта» - мальчики хорошо видят игровое поле во время матча и могут получить удовольствие от игры. «Рецепт», то есть механизм достижения данного результата, - дать каждому ребенку по одинаковой подставке под ноги. Если принять, что мальчиков всего трое, то получается, что ожидаемый результат достигнут для 67% благополучателей.

Если нужно, чтобы ожидаемый результат был достигнут для каждого мальчика, нужен не стандартизованный, а индивидуальный подход. Не смотря на название, индивидуальный подход не отменяет стандартизации, только стандартизировать нужно результат, а не процесс его достижения. Например, если взять ситуация на картинке, стандартом для результата могло бы быть «глаза ребенка должны быть на уровне не менее 30 см выше края ограждения поля».  И тогда в каждом случае исполнитель должен будет продолжать работать с благополучателем, пока не доведет его до заданного уровня результата.

Индивидуальный подход не обязательно дороже стандартизированного, что хорошо иллюстрирует правая часть картинки. Но он точно требует более высокого уровня исполнителей. Кроме того, необходимо описать стандартный уровень ожидаемого уровня результата так, чтобы его можно было измерить.

Кстати, оценка проектов и программ тоже основана на индивидуальном подходе, и специалист по оценке должен уметь разработать методологию, которая позволит ему ответить на конкретные вопросы в конкретной ситуации и при наличии определенных конкретных ограничений.

Но именно благодаря тому, что оценка предполагает индивидуальный подход, ее можно сделать можно и тогда, когда проект (или организация) использует стандартизованный подход к работе с благополучателями, и когда применяется индивидуальный подход. Но специалисту по оценке важно понимать, какой подход использует проект, потому что это повлияет принимаемые методологические решения. Например, на формирование выборки. Один из возможных вариантов целевой выборки – выборка типичных случаев. Если проект использует стандартизованный механизм работы, типичными будут случаи, когда благополучатели получили типичные результаты. Если же проект использует индивидуальный подход к благополучателям, типичными будут случаи, когда для достижения стандартизованного результата было потрачено типичное количество ресурсов и времени. Другой вариант – целевая выборка крайних случаев, то есть случаев, которые сильно отличаются от типичных. Для проекта, который использует стандартизованный механизм достижения результатов, крайними будут случаи, когда были получены очень хорошие и очень плохие результаты. Но если проект доводит всех благополучателей до определенного уровня результатов, то крайними будут случаи, когда на это потребовалось много больше и много меньше ресурсов и времени, чем обычно, или когда не удалось "довести" клиента до нужного уровня результата.

Обязательно ли использовать критерии оценки

Недавно на семинаре меня спросили, обязательно ли использовать критерии при формировании задания на проведение оценки. Ответ, как это часто бывает в нашей профессиональной области: «It depends» - «Зависит…».

Во-первых, зависит от того, какого определения оценки вы придерживаетесь. Если вы ориентируетесь на классическое англоязычное определение, что оценка – это вынесение суждения о ценности (worth and merit) проекта или программы на основании системно собранных данных, то без критериев не обойтись. Критерий – это значимая (ценная) для заказчика характеристика объекта оценки. Соответственно, чтобы специалист по оценке мог вынеси суждение о ценности проекта или программы, ему необходимо знать, что представляет ценность для заказчика.

Если же вы ориентируетесь на определение, что оценка – это комплекс аналитических мероприятий, которые должны удовлетворить информационные потребности заказчика, то можно обойтись без критериев. Правда, и в этом случае на основании вопросов оценки можно понять, какие характеристики оцениваемого проекта или программы – то есть критерии – важны заказчику. Например, если заказчик хочет знать, какие изменения произошли в жизни благополучателей благодаря его программе, логично предположить, что ему важна результативность или наличие долгосрочного эффекта.

Во-вторых, зависит от ситуации. Например, большим организациям, которые реализуют или финансируют много разных проектов, приходится вырабатывать стандартные требования к этим проектам, и тут критерии приходятся очень кстати. И если руководство организации решило, что проекты должны быть, скажем, результативными и обеспечивать устойчивость полученных результатов, то эти два критерия потом будут использоваться в этой организации для оценки проектов как на этапе замысла, так и по итогам реализации.

Если же у организации по каким-то причинам нет таких стандартных требований к проектам (например, организация молодая, небольшая или у нее немного проектов), то при формировании заказа на проведение оценки ее сотрудники будут ориентироваться на свои информационные потребности, и критерии не будут присутствовать в задании в явном виде.

Кроме того, даже когда у организации-заказчика есть набор стандартных критериев оценки проектов, не обязательно привязывать конкретный вопрос оценки только к одному критерию. В одном вопросе можно объединить несколько критерии, например, критерии релевантности и результативности: «Насколько проект соответствовал потребностям благополучателей, и как это повлияло на достижение непосредственных и опосредованных результатов проекта?»

Десятилетие ОЦЕНКИ в поддержку действий по достижению Глобальных целей

Стартовало Десятилетие ОЦЕНКИ в поддержку действий по достижению Глобальных целей (www.eval4action.org).  Его цель – способствовать более широкому применению оценки как инструмента повышения результативности программ и проектов и более рациональному использованию выделяемых на их реализацию ресурсов, чтобы ускорить достижение Целей в области устойчивого развития (ЦУР), которые также часто называют Глобальными целями.

Десятилетие ОЦЕНКИ – это ответ профессионального сообщества специалистов в области оцени на призыв Генерального секретаря ООН Антониу Гутерриша ускорить достижение ЦУР, принятых в 2015 году. Анализ прогресса по ЦУР, проведенный ООН в 2019 году, показал, что, если не предпринять дополнительных усилий, многие из ЦУР не будут достигнуты к 2030  году, как планировалось. Поэтому в сентябре 2019 года Гутерриш объявил Десятилетие действий по достижению Глобальных целей и призвал все страны, организации и просто жителей Земли мобилизоваться и приложить максимум усилий на глобальном, национальном, местом и даже личном уровне, чтобы ускорить прогресс по ЦУР.

Инициатором Десятилетия ОЦЕНКИ выступила международная инициатива EvalPartners, которая объединяет национальные и региональные профессиональные объединения специалистов в области оценки, специалистов по оценке, работающих в системе ООН, а также других сторонников более широкого использования оценки для повышения эффективности программ и проектов развития, включая депутатов парламентов.

Поучаствовать в реализации цели Десятилетия ОЦЕНКИ может любая организация и любой человек, которым эта цель близка. Например, вы можете включить сессию, посвященную оценке, в свое мероприятие, разместить информацию о важности проведение оценки на своих страницах в социальных сетях, или использовать логотип Десятилетия в подписи электронной почты. И если ваша организация еще не делала оценку своих программ и проектов – начните ее делать!

Создание возможностей как цель социального воздействия

За последние пару недель я участвовала в обсуждении нескольких методик оценки социального воздействия (оно же социальное влияние, оно же социальный эффект, – у нас пока нет единого перевода английского «impact»). С одной стороны, радует растущий интерес в данной теме. С другой, меня смущает доминирование идеи, что результаты могут получаться только при непосредственном контакте между проектом или организацией и их целевой группой, например, когда людей чему-то обучают или оказывают им какие-то услуги. И чтобы измерить свое социальное воздействие проект или организации должны отследить, что потом меняется в жизни этих людей.

Смущает это меня потому, что социальные проекты создают то, что в экономике называют «общественными благами» («public good»). Особенность общественных благ в том, что от них одновременно могут получать пользу множество людей: например, яблоко – это не общественное благо, потому что, если вы его съели, больше никто его съесть не может, а вот цветущая яблоня в городском парке  - благо общественное, потому что ее красотой может одновременно любоваться много людей. Но при этом каждый, кто пользуется каким-то общественным благом, получает относительно небольшую пользу. И так как, согласно экономической теории, объем получаемой человеком пользы пропорционален количеству денег, которое он готов заплатить за какое-то благо, то мало кто будет готов приобрести какое-либо общественное благо самостоятельно и приходится делать это в складчину. Именно поэтому производство общественных благ является в первую очередь прерогативой государства, которое собирает для этого средства граждан в виде налогов. А работа НКО и корпоративная благотворительность и социальная ответственность – это, по сути, частное предпринимательство в сфере производства общественных благ.

Когда я изучала экономику общественных благ в 90-е, определить, сколько тот или иной человек реально готов заплатить за какое-то общественное благо, было очень сложно. Но сегодня, когда технологии позволяют жертвовать на благотворительность небольшие суммы, экономика общественных благ получила практическое подтверждение. Ведь когда человек перечисляет 100 рублей на лечение незнакомого ребенка, с точки зрения экономики это значит, что получаемая им польза от того, что ребенок получит лечение, эквивалентна как минимум 100 рублям. И людей, для которых лечение чужих детей – благо, достаточно много, чтобы фондам удавалось собирать достаточно денег для десятков и даже сотен детей.

Но лечение – это опять услуга, которую получает конкретный человек. Я думаю, что пандемия COVID-19 должна нам заставить осознать, что общественным благом является не только сама услуга, но и потенциальная возможность получить ее. Думаю, сегодня многие из нас надеются, что если, не дай бог, потребуется нам или кому-то из близких, то в больнице будет свободный аппарат искусственной вентиляции легких. И уверенность, что такой аппарат есть, даже если он вам никогда не потребуется, - тоже ценность.

Насколько мне известно, одним из первых об этой разновидности общественных благ стал говорить лауреат Нобелевской премии по экономике Амартья Сен. Он назвал их «capabilities», что можно перевести как «возможности». Например, возможность получить высшее образование – благо для любого человека, даже если конкретный человек решит не использовать эту возможность. Возможность получить медицинскую помощь – благо, даже если она никогда вам не потребуется.

Во время одного из обсуждений методик оценки социального воздействия прозвучало, что некоторые компании не занимаются стратегической благотворительностью, а ремонтируют детские площадки в городах присутствия, и никакого социального воздействия от этого нет. А я вот теперь думаю, что очень даже есть: у людей, особенно тех, у кого есть дети, появилась возможность выйти на хорошую детскую площадку. И что это ценность, отчетливо начинаешь понимать сегодня, когда выйти на нее из-за режима самоизоляции нельзя.

Глокальность оценки

1-5 июня Всемирный банк проводит очередную Глокальную неделю оценки. Прилагательное «глокальный» - гибрид слов «глобальный» и «локальный». Глокальная неделя призвана напомнить профессиональному сообществу специалистов в области оценки, что, с одной стороны, международные тренды в теории оценки влияют на ее практику на местном уровне, а с другой стороны, осмысление местного опыта оценки влияет на развитие теории оценки в глобальном масштабе.

В 1980-е, когда я изучала экологию и устойчивое развитие, одним из лозунгов в области окружающей среды было: «Мысли глобально, действуй локально». Сегодня этот лозунг дошел и до оценки проектов и программ. Например, в рекомендациях по применению новых критериев КСР ОЭСР указано, что хотя критерии задуманы как универсальные, то есть, по сути глобальные, на практике они должны быть интерпретированы в случае каждой конкретной оценки с учетом ее контекста, то есть, локализованы. А в рамках подхода Blue Marble evaluation (оценки в масштабе Земного шара), предложенного Майклом Пэттоном, важными критериями оценки являются глобальность, который измеряет действительно ли проект работает в глобальном (планетарном) масштабе, и соответствие действий в рамках проекта на локальном уровне его глобальной задаче.

Новые критерии оценки

В декабре прошлого года Комитет содействия развитию Организации экономического сотрудничества и развития (КСР ОЭСР), также широко известный по своей английской аббревиатуре OECD-DAC, принял обновленный набор критериев оценки. Новая версия критериев стала результатом широкого обсуждения среди специалистов в области оценки. Любопытно, что специалист Комитета, представляя новые критерии на недавнем вебинаре, специально подчеркнула, что на новые формулировки критериев в значительной мере повлияла Повестка 2030, определяющая цели в области устойчивого развития (ЦУР). Примеры такого влияние – усиление фокуса на благополучателей при описании критерия «Актуальность», появление критерия «Согласованность», который анализируем «совместимость» оцениваемого проекта с другими проектами, реализуемыми в том же секторе, и указание на то, что нужно анализировать результаты проекта для разных групп заинтересованных сторон, при описании критерия «Результативность».

Момент, который мне очень понравился в описании того, как надо применять критерии, – это принцип осознанности, вдумчивости. Критерии нельзя применять механически, в случае каждой оценки нужно учитывать ее контекст и потребности заинтересованных сторон.

Ниже привожу сокращенный перевод описания новых критериев на сайте КСР ОЭСР. С полной версией – на английском – можно познакомиться на сайте организации: DAC criteria

Зачем нужны критерии оценки

Критерии нужны, чтобы можно было определить ценность оцениваемого проекта, программы или другой интервенции. Каждый критерий представляет собой особый угол зрения, под которым можно рассматривать интервенцию. А в совокупности критерии дают возможность получить комплексное представление о процессе реализации и результатах проекта или программы.

Критерии также выполняют роль нормативов. Они описывают характеристики, которыми должны обладать проекты и программы: все проекты и программы должны соответствовать условиям своей реализации, быть согласованными с другими программами и проектами, достигать ожидаемых результатов, рационально использовать выделенные ресурсы и иметь позитивное долгосрочное влияние.

Критерии используются не только при проведении оценки, но и при планировании интервенций и в целом в рамках управления по результатам.

Как нужно использовать критерии оценки

При применении критериев нужно придерживаться следующих принципов:

1. Критерии нужно применять осознанно, вдумчиво. Это позволит обеспечить высокое качество оценки. Критерии нужно обязательно интерпретировать в контексте конкретной оценки с учетом особенностей оцениваемого проекта и его заинтересованных сторон. Основой для интерпретации критериев служат вопросы оценки и то, как будут использоваться ответы на них.
2. Использование критериев зависит от назначения оценки. Критерии нельзя применять механически. Нужно учитывать потребности заинтересованных сторон и контекст оценки. Количество времени и ресурсов, выделяемых на анализ каждого критерия, может меняться в зависимости от назначения оценки. Доступность данных, ограничения по объему имеющихся ресурсов и времени, методологические соображения – все это может влиять на решение, какие критерии оценки использовать в конкретном случае.

Критерии – определение

Актуальность – соответствие целей и дизайна проекта или программы потребностям благополучателей, а также международным и национальным политикам, приоритетам и потребностям и политикам, приоритетам и потребностям организаций партнеров. Цели и дизайн проекта или программы должны быть актуальными как на момент разработки проекта или программы, так и в процессе их реализации, даже если условия этой реализации меняются.

При анализе актуальности проекта или программы нужно рассмотреть наличие возможных конфликтов между приоритетами различных заинтересованных сторон. Также нужно проанализировать, как менялись условия реализации проекта или программы, и как при этом изменялся сам проект или программа, чтобы сохранить актуальность.

Согласованность/ гармоничность – совместимость проекта или программы с другими проектами или программами, которые реализуются в данной стране, секторе или организации.

В ходе оценки нужно проанализировать, в какой степени данный проект или программа способствуют или, наоборот, мешают реализации других проектов, программ и политик. Есть внутренняя и внешняя согласованность. Анализ внутренней согласованности предполагает рассмотрение наличия синергии между оцениваемой интервенцией и другими интервенциями данной организации или правительства, а также с международными нормами и стандартами, которых данная организация или правительство придерживаются. Анализ внешней согласованности предполагает рассмотрение степени гармонизации, скоординированности, отсутствия дублирования или, наоборот, наличия противоречий и дублирования между оцениваемой программой или проектов и программами и проектами других организаций, работающих в том же секторе.

Результативность – степень достижения ожидаемых результатов и наличие различных результатов для различных групп. При анализе результативности необходимо учитывать степень значимости тех или иных результатов.

Рациональность использования ресурсов – насколько экономно и своевременно использовались выделенные ресурсы для получения результатов. Анализ экономичности предполагает сравнение реальных затрат на получение результатов с затратами, которые бы возникли при других, альтернативных способах получения таких же результатов. Анализ своевременности предполагает сравнение фактических и запланированных сроков реализации проекта или программы с учетом их адаптации к меняющимся условиям.

Влияние – в какой степени проект или программа привели или могут привести к заметным позитивным или негативным запланированным или незапланированным результатам высокого уровня.

При анализе влияния нужно рассматривать значимость и потенциальные трансформационные эффекты проекта или программы: социальные, экологические и экономические. Эффекты могут включать изменение в существующих системах и нормах, которые приводят к изменению уровня благосостояния людей, степени соблюдения прав человека, гендерного равенства и качества природной среды.

Устойчивость – как долго сохранятся или могут сохраниться позитивные результаты проекта или программы.

Анализ устойчивости предполагает рассмотрение финансового, экономического, природного и институционального потенциала систем, на которые воздействовал проект или программа, с точки зрения того, насколько эти системы смогут обеспечить сохранение позитивных результатов проекта с течением времени. 

Простой анализ эффективности использования ресурсов

Разбирала старые материалы по оценке эффективности, и нашла описание – на русском – симпатичного метода для оценки эффективности использования ресурсов. (Сейчас уже и не вспомню, когда и для чего делала это описание.) Метод, который представляет собой упрощенный вариант анализа затрат и полученных результатов, был разработан Брайаном Кугельманом и Евой Отеро для сравнительного анализа эффективности отдельных компонентов адвокационной кампании, посвященной вопросам изменения климата, британской некоммерческой организации Oxfam. Он так и называется - простой анализ эффективности использования ресурсов (Basic efficiency resource analysis).

Метод предполагает определение субъективной оценки заинтересованными сторонами объема ресурсов, выделенных различным подразделениями или на различные направления работы, и размера результатов, полученных этими подразделениями или этими направлениями. Затем полученные оценки накладываются на следующую матрицу (модель):

Процесс начинается с определение единицы анализа – это может быть структурное подразделение или компонент проекта – и составления перечня этих единиц. Делается это на основании анализа проектной документации или данных, собранных с помощью полуструктурированных интервью с заинтересованными сторонами, либо обоих этих источников информации одновременно. Полученный перечень единиц анализа необходимо согласовать с заказчиком. Если у проекта много компонентов, то для экономии сил и времени можно ограничиться анализом только самых важных компонентов.

Например, для адвокационной кампании Oxfam Кугельман и Отеро выделили следующие компоненты:

• Построение коалиций;
• Лоббирование;
• Работа со СМИ;
• Коммуникации в социальных сетях;
• Научные публикации.

Следующий шаг – составление так называемой карты заинтересованных сторон. Она представляет собой полный список заинтересованных сторон с указанием, относительно работы каких компонентов программы или каких структурных подразделений можно получить информацию у представителей той или иной заинтересованной стороны.

Далее нужно принять решение, по каким параметрам будет измеряться объем использованных ресурсов и размер полученных результатов по каждому компоненту. Примеры параметров, которые можно использовать, приведены ниже:

Параметры для определения объема использованных ресурсов	Параметры для определения размера полученных результатов
Бюджет (субъективная оценка респондентов или реальный) Число сотрудников Уровень квалификации сотрудников	Как часто ключевое понятие упоминается в принятой политике Число публикаций Число участников мероприятий Субъективная оценка влияния компонента Измеряемые изменения в законодательстве и нормативной базе

Сбор данных для оценки объема использованных ресурсов и размера можно проводить как методом полуструктурированных интервью, так и методом опроса. В первом случае полученную качественную информацию нужно будет обработать, используя следующий инструмент:

Компонент	Оценка объема использованных ресурсов	Оценка размера полученных результатов
Компонент А	Ниже среднего Средний Выше среднего Респондент затруднился ответить	Ниже среднего Средний Выше среднего Респондент затруднился ответить

При проведении опроса Кугельман и Отеро рекомендуют использовать шестиступенчатую шкалу Ликкерта. Ниже приведен пример того, как может выглядеть анкета для участников опроса:

Вопрос 1. Насколько вы согласны с тем, что организации В удалось добиться изменения законодательных и нормативных актов благодаря указанным ниже действиям?

Действие	1 Совершенно не согласен	2	3	4	5	6 Совершенно согласен	Затрудняюсь ответить
Кампания в социальных сетях
Научные публикации
Лоббирование

Вопрос 2. Для реализации данных действий организация использовала различные ресурсы: финансовые средства, время, силы, знания и навыки сотрудников. На ваш взгляд, сколько ресурсов организация В использовала для осуществления указанных ниже действий?

Действие	1 Слишком мало	2	3	4	5	6 Слишком много	Затрудняюсь ответить
Кампания в социальных сетях
Научные публикации
Лоббирование

Использование шестиступенчатой шкалы вынуждает людей более тщательно обдумывать свои ответы, а также упрощает проведение дальнейшего анализа. Полученные данные можно разделить либо на две категории (мало (1-3) или много (4-6)), либо три (мало (1-2), средне (3-4), много (5-6)).

При возможности данные, полученные в ходе интервью и опроса полезно сравнить с количественными характеристиками использованных ресурсов и полученных результатов, потому что субъективная оценка заинтересованных сторон может быть существенно искажена. Но, как отмечают Кугельман и Отеро, можно ограничиться и только субъективными данными.

Кугельман и Отеро предложили несколько вариантов графического представления данных для сравнительного анализа компонентов программы:

1. Квадранты (вверху). Данный вариант позволяет наглядно показать относительное количество использованных ресурсом и полученных результатов по разным компонентам проекта.
2. Столбчатая диаграмма (внизу). Она позволяет сравнить эффективность различных компонентов.

Описанный метод анализа эффективности использования ресурсов позволяет выделить компоненты проекта, которые работают с эффективностью выше и ниже среднего. Авторы метода рекомендует рассматривать результаты анализа как отправную точку для обсуждения работы компонентов программы и факторов, которые на нее влияют. Они отмечают, что низкая эффективность может быть связана с тем, что данный компонент работает в неблагоприятных условиях, а высокая эффективность может связана с благоприятными внешними условиями.