Цикличная теория изменений

В 2021 году я опять руководила оценкой страновой программы Фонда народонаселения ООН, на этот раз в Молдове. Оценка страновой программы – довольно странный жанр. Оценка как инструмент заточена под деятельность, у которой есть начало и конец, а также цель, которая должна быть достигнута. А страновая программа агентства ООН – это набор деятельности, которая реализовывалась за какой-то временной промежуток, в случае Фонда народонаселения – пять лет, но в нее входят проекты, которые начались за пределами этого промежутка, а закончились – внутри него, или начались внутри него, но будут продолжаться за его пределами. Кроме того, общей цели у этой деятельности нет. Она укладывается в несколько широких направлений. Для каждого из них заданы основные результаты, но при этом внутри направления может реализовываться какая-то деятельность, которая с этими результатами никак не связана. При этом вопросы оценки для страновой программы сформулированы обычно так, будто это именно программа с началом, концом и общей целью.

В ходе оценки в Молдове важным инсайтом для меня стало осознание, что внутри всей этой разноплановой деятельности можно найти общую внутреннюю логику. Например, в сфере репродуктивного здоровья работа строится по следующей схеме. Определяется какой-то аспект, где Фонд народонаселения хочет добиться изменений в практике национальных институтов. Проводится адвокационная работа, чтобы убедить национальные органы, принимающие решения, внедрить эти изменения. Если адвокация достигает своей цели, страновой офис Фонда помогает разработать необходимую нормативно-правовую базу, проводит обучение тех, кто должен будет реализовывать новые практики и услуги, и даже может помочь обеспечить их необходимым оборудованием и расходными материалами. Причем после первой волны обучения часто происходит передача ответственности за дальнейшее обучение национальным структурам, где внедряются программы первичного обучения и повышения квалификации. А через какое-то время Фонд помогает провести мониторинг и оценку качества оказания новых услуг. И полученные результаты могут использоваться как для дальнейшего повышения потенциала провайдеров услуг, так и как основа для новых адвокационных кампаний, запуская новый виток цикла.

Параллельно Фонд организует и поддерживает информационные кампания для потенциальных пользователей новых услуг и практик, чтобы эти услуги и практики пользовались спросом. В результате это должно приводить к тому, что люди получают новые услуги или более качественные услуги в области репродуктивного здоровья, и это, в свою очередь, приводит к позитивным изменениям в их жизни.

В конкретный момент времени у Фонда может быть несколько разных инициатив, которые оказываются на разных этапах данного цикла. Для каких-то инициатив можно проследить, как они прошли несколько подобных циклов.

Думаю, что подобные цикличные теории изменений могут быть полезны и для долгосрочных программ, в которых, например, регулярно набирают новые группы участников, и при этом происходит постоянное «докручивание» программы по мере ее реализации.

Теория барьеров

В описании проекта ГЭФ, о котором я уже упоминала, были перечислены барьеры для внедрения устойчивого управления лесными и земельными ресурсами:

• Регуляторная среда, которая не способствует внедрению устойчивого управления лесными и земельными ресурсами;
• Недостаточность реформ, проведенных в секторе землепользования, для успешного внедрения устойчивого управления лесными и земельными ресурсами;
• Ограниченный потенциал местных институтов;
• Устаревшие подходы к управлению лесными и земельными ресурсами.

Действия, реализованные в рамках проекта, хорошо стыковались с этим барьерами, - настолько, что я даже думала переформулировать ожидаемые результаты проекта как снижение этих барьеров.

Это мне напомнило о работе немецкого специалиста по оценке Кристины Ворлен, разработавшей подход, который она назвала «теорией не-изменений». Проще было бы назвать его «теорией барьеров», потому что суть подхода состоит в том, чтобы определить барьеры, которые мешают реализации оцениваемого проекта, и их «высоту». Кристина выделила ряд типичных барьеров, которые, например, могут препятствовать внедрению какой-то новой модели поведения в целевой группе:

• Отсутствие информации о данной модели поведения у представителей целевой группы;
• Отсутствие интереса/ мотивации;
• Отсутствие знаний и навыков, необходимых для реализации новой модели поведения,
• Отсутствие доступа (например, представителям целевой группы негде получить знания и навыки или какое-то оборудование, необходимые для реализации новой модели поведения);
• Отсутствие экономического выигрыша: новая модель поведения обходится дороже, чем старая;
• Отсутствие средств на начальные вложения: новая модель поведения может быть более экономичной, но у представителей целевой группы нет средств на необходимые стартовые вложения.

Кроме того, Кристина предложила «светофорную» модель для маркировки «высоты» (значимости) каждого из выделенных барьеров в ходе анализа:

• Барьер, который является серьезным препятствие на пути изменения, считается красным.
• Барьер, которые не оказывает существенного влияния на процесс изменений, маркируется как желтый.
• Отсутствие какого-либо из барьеров маркируется зеленым.

Подход Кристины предлагает проводить анализ существующих барьеров на этапе разработки дизайна проекта, чтобы определить наиболее значимые из них и разработать меры по их преодолению, а также после реализации, в процессе оценки, чтобы понять, насколько это получилось. То есть снижение значимых барьеров для достижения целей проекта можно рассматривать как один из ожидаемых результатов и включать в теорию изменений для этого проекта.

Теория изменений – матрешка

 

Проект ГЭФ, который я оценивала, был довольно сложным по дизайну. Разработчики должны были уложить его в стандартную схему действия (мероприятия) – непосредственные результаты (outputs) – опосредованные результаты (outcomes) – цель (goal). Но помещался он в нее не очень. Проект работал на двух уровнях: с одной стороны, он пытался изменить регуляторную и информационную среду в стране в целом, а с другой, работал с пилотными местными сообществами и расположенными рядом с ними лесхозами, меняя их модели деятельности. При этом жесткой связки между этими двумя уровнями не было, а итоговая цель проекта достигалась за счет того, что происходило на местном уровне, причем не зависимо от того, изменится регуляторная среда или нет. Хотя изменение среды все-таки работало на долгосрочную устойчивость практик, внедряемых на местном уровне. 

Одна из задач, которую нужно решить в ходе оценки, - реконструкция логики проекта. И, если строить традиционную линейную карту изменений, получалось, что изменения в регуляторной и информационной среде «подвисают».

Рис. 1. Линейная карта изменений.

Мне хотелось графически показать связь между объектами, на которые воздействовал проект: что пилотные сообщества и лесхозы находятся внутри регуляторной среды, и что проект воздействует и на них, и на среду. Тем более, что все действия я рамках проекта логично делились на создание изменений в регуляторной и информационной среде, и на внедрение разных новых технологий на местном уровне в пилотных лесхозах и сообществах.

В результате у меня получилась модель создания изменений, которая в упрощенном виде представлена ниже. Желтые стрелки показывают действия, предпринятые в рамках проекта. Стрелки привязаны к объектам воздействия. И видно, что результаты более высокого уровня связаны с первую очередь с изменения в потенциале местных институтов.

Рис. 2. Карта изменений, показывающая, что один объект воздействия находится внутри другого.

То есть теория изменения получилась в виде матрешки, где один объект воздействия находится внутри другого.

Оценочная шкала ГЭФ

В 2021 году я впервые в карьере руководила оценкой проекта Глобального экологического фонда (ГЭФ). Я по первому образования географ, поэтому мне греет душу, когда в оценке есть экологическая составляющая. И проведение оценки проекта, в котором экология была на первом месте, стала для меня значительным событием.

Одна из особенностей ГЭФ в том, что у него есть оценочные шкалы для используемых критериев. Поэтому нужно не только ответить на вопросы оценки, но и обосновать и выставить оценку (сделать оценочное суждение) по каждому критерию. Ниже для примера привожу шкалу для критерия «результативность».

Оценка	Описание
Более чем удовлетворительно	Достигнутые результаты явно превосходят ожидания (план), и/или нет никаких недостатков.
Удовлетворительно	Ожидаемые результаты достигнуты, и/или недостатков нет, или они незначительны.
Почти удовлетворительно	Достигнутые результаты более-менее соответствуют ожиданиям (плану), и/или были умеренные недостатки.
Почти неудовлетворительно	Достигнутые результаты несколько ниже, чем ожидалось (планировалось), и/или были существенные недостатки.
Неудовлетворительно	Достигнутые результаты существенно ниже, чем ожидалось (планировалось), и/или были крупные недостатки.
Крайне неудовлетворительно	Ожидаемые результаты были достигнуты лишь в незначительной степени, и/или были очень серьезные недостатки.
Невозможно оценить	Имеющая информация не позволяет вынести суждение об уровне достижения ожидаемых результатов.

Мне понадобилось какое-то время, чтобы приноровиться работать с этой шкалой. Но в целом ее наличие было полезно, потому что позволяло перейти от описания результатов оценки к ценностному суждению. И когда у сотрудников проекта возникали вопросы или сомнения относительно сделанных оценочных суждений, можно было отослать их к шкале и предложить самим вынести такое суждение на основании данных, что обычно снимало все вопросы.

Единственно, если бы я делала подобную шкалу, я бы использовала категории «хорошо» и «отлично» вместо «удовлетворительно» и «крайне удовлетворительно», хотя это, вероятно, связано с тем, что «удовлетворительно» у меня ассоциируется с нашей школьной «тройкой».

Суждение о ценности как основа для принятия решений

2021 год получился у меня очень насыщенным в профессиональном плане. Я сделала несколько оценок, много выступала на различных мероприятиях, участвовала в оценках заявок конкурсов «Лидеры корпоративной благотворительности» и «Точка отсчета», занималась общественной работой в рамках профессиональных объединений специалистов по оценке. В процессе у меня регулярно возникали какие-то идеи и маленькие открытия, но не было времени их зафиксировать. И вот решила использовать новогодние праздники, чтобы это сделать. В результате вышла серия из 19 заметок, которые буду выкладывать одну за другой.

Вот первая. Одним из важных инсайтов стало осознание, что классическое определение оценки – что это вынесение суждения о ценности программы или проекта на основании системно собранных данных – действительно хорошо описывает оценку как вид деятельности. Я консультант мониторингу и оценке, и поэтому всегда провожу внешнюю оценку. Поэтому для меня оценка, с точки зрения того, что я делаю, — это про разработку методологии, сбор и анализ данных, представление результатов заказчику. И много лет в качестве рабочего определения я использовала следующее: оценка – это комплекс аналитических мероприятий, которые должны дать ответы на вопросы лиц, принимающих решения, относительно оцениваемого проекта или программы.

Но, когда писала аналитический обзор по итогам «Лидеров корпоративной благотворительности», поняла, что, если не определить ценность реализованных проекта или программы, невозможно принять управленческое решение. Потому что, если проект оценивается как хороший, это открывает один спектр возможных управленческих решений, а если как плохой – совершенно другой.

Я думаю, специалистам по оценке важно помнить, что полномочиями выносить оценку как суждение о ценности программы или проекта обладает высшее руководство организации, которая реализует или финансирует данный проект. И руководители такие решения выносят постоянно, пусть даже неосознанно. Ведь если принимается решение о продолжении какого-то проекта, значит, принявший решение оценивает его положительно. И в каких-то ситуациях руководитель может делегировать проведение оценки внутренним или внешним специалистам. И наша ценность как специалистов по оценке для заказчика – в том, что мы умеем выносить суждение о ценности на основании данных, осознанно и обоснованно, и можем свое суждение внятно объяснить.

Точность экспертной оценки

 

Несколько лет назад я проводила семинар по оценке для руководителей местных НКО в одном из городов. И мне задали вопрос, как сделать так, чтобы члены конкурсной комиссии местной грантовой программы правильно оценивали проектные заявки. Мой ответ, что в экспертной оценке всегда присутствует значительная доля субъективности, участников не удовлетворил. И тогда я предложила провести эксперимент: мы взяли наугад реальную заявку, поданную на конкурс, и каждый из девяти участников семинара оценил ее по критериями, которые использовались в рамках конкурса. По каждому критерию можно было дать от 0 до 5 баллов.

Ниже представлены баллы по критериям, которые поставил заявке каждый из участников семинара.

Таблица 1: Индивидуальные оценки, поставленные разными экспертами.

 

В результате по каждому критерию получился значительный разброс оценок, и максимальная сходимость оценок получилось для критерия «Софинансирование» - в соответствующем разделе заявки был указан процент обещанного софинансирования.

Таблица 2: Число экспертов, которые поставили тот или иной балл по каждом критерию.

 

Таблица 3: Разброс оценок по каждому критерию.

Если считать, что каждую заявку в конкурсе оценивают три эксперта, заявка могла в сумме набрать от 58 баллов, если бы ее получили три эксперта, которые поставили самые низкие баллы, до 98 баллов, если бы ее оценивали те, кто оценил ее наиболее позитивно. Если брать средний бал, оценка бы была в диапазоне от 19.3 (или 43% от максимально возможной оценки в 45 баллов) до 32.6 баллов (72%).

О чем это говорит? О том, что экспертная оценка не очень точный инструмент «измерения». Именно поэтому, например, в доказательной медицине мнение эксперта считается наименее надежным доказательством эффективности лекарства или метода лечения.

Разум и чувства

Была сегодня на семинаре по использованию сторителлинга в оценке, который проводила Хамутал Гоури, специалист по использованию историй как инструмента социальных изменений (думаю именно так стоит переводить английское «storytelling for social change»).

Гоури рассматривает истории как способ sensemaking – процесса осмысления чего-то. Процесс включает четыре этапа: факты (facts) – эмоции (feelings) – идеи (insights) – соответствующие действия (relevant actions). У Гоури опыт оценки связан с тем, что оценивали работу фонда, который она возглавляла. Поэтому в качестве иллюстрации процесса осмысления она рассказала следующую историю. Фонд поддерживал проекты по расширению прав и возможностей для женщин. Оценка этих проектов показала, что они приводят к значительному личностному росту участниц. В некоторой степени этот личностный рост привел к изменениям на уровне сообществ, но на уровне национальной политики ничего не изменилось. По словам Гоури, последнее обстоятельство ее сильно расстроило и заставило задуматься, как можно способствовать изменениями на национальном уровне. Результатом данных размышлений стало решение продолжить поддерживать уже существующие проекты и помочь им развиться настолько, чтобы они могли влиять и на национальную политику.

Тема эмоций как части процесса осмысления данных меня зацепила. Одним из главных аргументов в пользу проведения внешней оценки является то, что внешний специалист может провести ее с «холодной» головой, то есть без эмоций, что обеспечит более высокое качество интерпретации. И в целом в процессе оценки мы обычно не касаемся темы эмоций, и не спрашиваем участников и исполнителей программы, какие эмоции они испытывали по ходу реализации программы.

И, возможно, напрасно. Я в свое время проходила тренинг тренеров, и там нам рассказывали про следующий цикл обучения на опыте: получение участниками опыта – рефлексия участниками эмоций от этого опыта – рациональный анализ полученного опыта – фиксация полученного знания. И нам говорили, что, если не отрефлексировать эмоции, рациональный анализ невозможен. 

Я регулярно сталкиваюсь с подобной ситуацией, когда представляю результаты оценки. Если клиенту они не нравятся, рационального обсуждения обычно не получается. Так что, возможно, стоит попробовать начать поднимать тему эмоций во время представления результатов оценки клиентам, особенно когда можно ожидать, что результаты могут вызвать у них негативные эмоции.