Вышла моя статья о методике Outcome mapping

Огромное спасибо коллегами из журнала «Позитивные изменения»! Благодаря им у меня, наконец, получилось рассказать о методике Outcome mapping – Создание карт поведенческих изменений.

Я обычно рассказываю и пишу о вещах, которые уже удалось попробовать на практике. Про методику создания карт поведенческих изменений я знаю уже несколько лет, и она мне очень нравится, но попробовать применить ее пока не удалось. А жаль, потому что, на мой взгляд, она может быть полезна во многих ситуациях. Суть методики в том, что она предлагает описывать ожидаемые результаты проекта как набор изменений в поведении людей, в том числе внутри организаций, которые можно наблюдать и фиксировать.

Не так давно меня спросили на семинаре по мониторингу, как можно измерить «социальную адаптированность» ребенка. На мой взгляд, «социальная адаптированность» — это состояние, которое должно каким-то образом проявляться в поведении, в том, что ребенок делает. Если он плохо социально адаптирован, то ведет себя одним образом, если хорошо – демонстрирует какие-то другие модели поведения. Значит, об изменениях в социальной адаптированности можно судить по изменениям в поведении. А это как раз то, что предлагает делать методика Outcome mapping.

Я люблю оценку

 

Отмечать 15 февраля EVALentine’s Day – День влюбленных в оценку придумал американский специалист по оценке Джон Гаргани. Это такой несерьезный праздник, когда можно говорить не о том, почему оценка социальных проектов и программ важна, а почему нам, специалистам по оценке, нравится ей заниматься.

Для меня один из любимых моментов в ходе оценки – это когда при анализе собранных данных начинаешь видеть какие-то закономерности, когда складывается стройная картина того, что произошло в результате проекта, и особенно когда в этой картине обнаруживаются какие-то неожиданные позитивные моменты.

И меня очень радует, когда в результате оценки что-то новое в своих проектах открывают люди, которые их реализуют. В прошлом году я работала с Благотворительным фондом «Арифметика добра» по оценке одного из их проектов. Было очень приятно, когда после ее завершения коллеги поделились, что благодаря оценке открыли для себя новые смыслы и по-иному увидели свою деятельность, в которой, казалось бы, им все уже было понятно.

Руководящие принципы оценки ПРООН стали доступны на русском!

Офис оценки Программы развития ООН, самого крупного из агентств этой системы, перевел свои «Руководящие принципы проведения оценки» на русский язык. Насколько мне известно, это первый такой случай в истории, раньше все руководящие документы на тему оценки в агентствах ООН существовали только на английском языке.

Руководство написано для менеджеров внутри ПРООН, которые планируют и организуют проведение оценки, включая найм внешних консультантов, а также координируют процесс принятия решений по результатам оценки и оценки качества проведенной оценки. У нас не так много литературы по теме оценки на русском языке, и она в основном посвящена методологическим аспектам оценки. А тут появилась возможность посмотреть, как выглядит оценка с точки зрения тех, кто ее заказывает и ею управляет.

Перевод не идеальный: например, мне понадобилось залезть в английский оригинал, чтобы выяснить, что «Круг полномочий оценки» — это перевод Terms of Reference (Техническое задание). Тем не менее документ дает неплохое представление о том, как может выглядеть архитектура оценки в большой организации, которая работает во множестве мест, и где оценка применяется уже много десятилетий. Например, в ПРООН есть децентрализованная оценка страновых программ, которая может быть промежуточной и итоговой. Организацией и управлением такой оценкой занимаются страновые офисы ПРООН. Также есть независимая оценка страновых программ, которая относится уже к ведению Независимого офиса оценки в штаб-квартире агентства. А есть тематические оценка, объектом которой становится работа всего агентства в той или иной тематической области.

Кроме того, в «Руководящих принципах» приведены шаблоны управленческих документов, которые нужно разрабатывать в процессе оценки: например, форма для плана оценки или форма для расчета бюджета оценки.

Вот ссылка на станицу русского перевода руководства: http://web.undp.org/evaluation/guideline/Russian/index.shtml

И на станицу английского оригинала: http://web.undp.org/evaluation/guideline/index.shtml

 

«Единство и борьба» методов монетарной оценки

В конце января я была на вебинаре по анализу издержек и выгод (cost-benefit analysis – CBA), и неожиданно закрыла для себя один из вопросов, который давно «грыз» меня по поводу SROI (social return on investment – социальный возврат на инвестиции). Кстати, в CBA под выгодами (benefits) имеются в виду социальные результаты, и на русский язык этот метод будет корректнее перевести как анализ созданных социальных благ и понесенных при этом затрат.

CBA я изучала в США в середине 1990-х, когда училась в магистратуре. В том курсе CBA базировался на экономической теории общественного блага (public good). Английское «good», как, кстати и русское «добро», одновременно означает и благо, и товар. Общественные блага – это такие особые товары, полезность которых для отдельно взятого потребителя существенно ниже стоимости их производства, поэтому отдельный человек их никогда не купит. Но зато ими могут одновременно пользоваться много людей без потери полезности. И эти люди могут договориться, скинуться и купить такой товар вскладчину. Или делегировать функцию производства общественных благ государству, «скидываясь» на это своими налогами.

Стоит отметить, что возможность переводить деньги с мобильного подтвердило данную идею на практике. С точки зрения экономики, если человек отдал за что-то деньги, то полезность того, что он получает взамен, для него как минимум не меньше этой суммы. Соответственно, для человека, который перечислил деньги на чье-то лечение, то, что этот человек получит лечение, - благо, польза, пусть и небольшая.

Когда делают CBA, нужно посчитать, с одной стороны, затраты на производство интересующего нас общественного блага, а с другой – суммарную денежную оценку этого блага для всех, кто им пользуется. Потом с полученными суммами проводится хитрая манипуляция под названием дисконтирование, и затем сравнивают итоговые денежные оценки полученных благ и затрат. И хорошо, когда благ получается больше, чем затрат.

SROI предполагает похожий процесс, но нужно учитывать денежную оценку ценности/полезности созданных благ только для непосредственных благополучателей проекта. Например, у вас проект, в рамках которого вы привлекаете волонтеров, и они убирают одиноким пенсионеркам квартиры. SROI учитывает только благо, которое получили пенсионерки. Время волонтеров – это затраты. Но, с точки зрения экономики, если волонтер потратил три часа своего времени на что-то, то он получил как минимум столько же пользы (блага). Плюс, возможно, организация, привлекавшая волонтеров, по сути, сэкономила ресурсы, так как не нанимала уборщиков. В CBA нужно учесть блага, полученные всеми участниками процесса, поэтому суммарное благо получается больше, чем при использовании SROI.

Меня всегда смущало, что на семинарах по SROI про CBA говорят, что это слишком сложно и вам не нужно, и никогда не говорят, что при использовании CBA оценка полученного блага будет больше.

На январском вебинаре по CBA своим опытом делилась Сальвия Виньетти из Центра индустриальных исследований в Милане. Они делают CBA для инфраструктурных проектов, например, строительства или ремонта дорог. Оказалось, они тоже занимают позицию, что созданные блага нужно считать только для непосредственных благополучателей. Но есть внятное объяснение такой позиции. Во-первых, так проще и дешевле – в смысле трудозатрат – посчитать создаваемые блага. Во-вторых, если объем создаваемых благ превысит объем затрат даже при таком ограниченном учете, мы можем быть уверены, что на данный проект стоит тратить деньги.

Когда Сильвия сказала это, я подумала: «Бинго, это объяснение отлично подходит и для SROI».

Коллеги, если кому-то интересна тема CBA, вот ссылка на материалы вебинара, к сожалению, только на английском языке: https://www.evalforward.org/webinars/cost-benefit-analysis

За цифрами должны быть видны люди

«Используйте статистику, чтобы описать масштаб явления, но сопровождайте ее историями, чтобы за цифрами были видны люди». Это цитата Майкла Квина Пэттона из его недавнего видео на YouTube.

Майкл Пэттон – человек, который за пятьдесят лет работы в сфере оценки сделал невероятно много для ее развития, и ему по-прежнему интересно двигаться вперед. Слушать его выступления – каждый раз праздник для интеллекта. И у него всегда получается связать любые актуальные события с оценкой. Февраль – месяц «черной» истории в США. В своем видео Пэттон ссылается на колонку в Нью-Йорк Таймс, посвященную подходам к изучению истории рабства. Тема рабства для США – примерно то же, что тема политических репрессий в СССР для нас, только у них потомки рабов и рабовладельцев отличаются внешне, что создает дополнительное напряжение.

Автор колонки пишет, что, анализ статистики о масштабах работорговли скрывает страдания людей, ставших ее жертвами. Пэттон напоминает о принципе сочетания методов, широко принятом сегодня в оценке. Но не о его прагматической механике: выбор методов сбора и анализа должен соответствовать вопросам оценки, - а о его гуманистической сути: социальные проекты пытаются решать реальные проблемы реальных людей, и, хотя цифры важны для понимания масштабов как проблемы, так и результатов проекта, за ними нельзя терять истории этих людей. «No numbers without stories, no stories without numbers» - «Истории и цифры – всегда вместе».

Измерение импакта: модель B4SI

Готовилась к разговору об оценке импакта/воздействия, и решила посмотреть, что нового у LBG (London Benchmarking Group – Лондонской группы бенчмаркинга). LBG - это сеть компаний, которые объединились, чтобы измерять импакт своих социальных инвестиций по общей модели и сравнивать себя друг с другом.

Оказалось, они поменяли название на B4SI - Business for Societal Impact – Бизнес за общественно-значимое воздействие, а также модель для измерения импакта. Модель B4SI шире, чем модель LBG. Модель LBG фокусировалась на инвестициях бизнеса в сообщества (Community Investment). Модель B4SI, принятая в 2018 году, включает также блоки «Бизнес-инновации для создания социального воздействия» (Business Innovation for Social Impact) и «Создание социального воздействия через систему закупок» (Procurement for Social Impact).

При этом при смене модели сохранилась одна существенная особенность. В «традиционной» оценке социальных проектов широко используется модель input – output – outcome– impact, где инпут – то, что вы вложили в реализацию, аутпут – непосредственный результат ваших действий, ауткам – изменения, которые произошли затем с участниками действий, импакт - изменения в сообществе, где эти участники живут. В принципе, модель не предполагает, что в цепочке должно быть только три уровня результатов, а подчеркивает, что к конечному результату приводит череда последовательных изменений. В модели LBG и теперь уже B4SI нет уровня outcome, цепочка выглядит так: input – output – impact, то есть все результаты после непосредственных – это импакт/воздействие.

Другая особенность – модель включает не только результаты для людей и сообществ, но и результаты для бизнеса.

Модель B4SI

	Inputs – Вложенные ресурсы	Outputs – Непосредственные результаты	Impact - Воздействие
Инвестиции в сообщества	Как, почему, что и где	Результаты для сообщества Результаты для бизнеса Дополнительно привлеченные ресурсы	Социальное воздействие Воздействие на бизнес
Бизнес-инновации для создания общественно-значимого воздействия	Финансовые инвестиции Другие ресурсы	Результаты для сообщества Результаты для бизнеса Дополнительно привлеченные ресурсы	Социальное воздействие Воздействие на бизнес
Создание общественно-значимого воздействия через систему закупок	Затраченное время и усилия Административные затраты	Результаты для сообщества Результаты для бизнеса Дополнительно привлеченные ресурсы	Социальное воздействие Воздействие на поставщиков Воздействие на бизнес

Для блока «Инвестиции в сообщества» есть подробное руководство по измерению результатов. Мне очень понравилось, что в нем написано по поводу импакта. Сразу сказано, что существует множество интерпретаций того, что такое импакт: кто-то относит к импакту все изменения, которые происходят благодаря достижению непосредственных результатов, а кто-то использует еще один промежуточный уровень результатов – outcome. При этом отличить outcome от impact сложно. Кроме того, по мнению B4SI, в большинстве случаев невозможно отследить долгосрочные социальные результаты инвестиций. Так что B4SI принимает прагматичную позицию, что импактом будут считаться все результаты после непосредственных, которые можно измерить.

Учитывая, что B4SI исходит из того, что бизнес будет сам собирать все данные, я с таким подходом согласна. Еще мне пришло в голову, что в русскоязычном пространстве нам было бы удобно взять на вооружение деление результатов на непосредственные и импакт/воздействие, при этом понимая, что в зоне импакта цепочки изменений могут быть длинными. И перестать мучаться с переводом термина outcome.

Мне также нравится, что при анализе воздействия проектов на людей модель B4SI предлагает разделять полученные результаты по типу воздействия (я бы это скорее назвала целью): изменение поведения, формирования новых знаний и навыков, или изменение качества жизни. А также по глубине воздействия: от незначительного, когда, например, человек только получил какую-то новую информацию, до существенного, если у человека в жизни произошли какие-то изменения в жизни, и трансформирующего, когда человек поменял поведение.

Кроме того, на уровне импакта в модель B4SI включили экологические аспекты воздействия, что, на мой взгляд, отражает растущее понимание, что качество окружающей среды и качество жизни людей тесно связаны.

Модель B4SI для инвестиций в сообщество

Как работают профессиональные объединения

В прошлом году меня пригласили войти в состав Консультативного комитета международной инициативы EvalPartners (Партнеры по продвижению оценки), которая объединяет региональные и национальные объединения специалистов по оценке, а также сообщества специалистов по оценке внутри крупных международных структур, например ООН. Задача комитета – давать советы по запросу нынешнего руководства EvalPartners. В состав комитета входят люди, которые в прошлом занимали руководящие позиции в EvalPartners. Например, я была сопредседателем EvalPartners в 2013–2015 годах.

Это был очень необычный и интересный опыт, который дал мне возможность познакомиться с работой профессиональных объединений специалистов по оценке в разных странах и регионах мира. Я тогда сформулировала на его основе пару простых правил, которые, по моим наблюдениям, позволяют этим объединениям успешно работать.

Члены правления профессионального объединения – волонтеры, а волонтер будет делать только то, что хочет и считает важным сам. Я много раз видела, как люди соглашались сделать что-то под давлением коллег, но потом обстоятельства всегда складывались так, что у них не оказывалось времени и возможности выполнить обещанное. Поэтому, на мой взгляд, правлению, во-первых, стоит использовать принцип работы импровизационного театра: никогда нельзя отвергать предложение партнера по «сцене». Его можно обыграть, развить, но только не отвергнуть. Иначе работа правления легко заходит в тупик, из которого очень сложно выйти. Второе правило – члену правления стоит добиваться того, чтобы коллеги приняли его идею, только если он готов лично взяться за ее реализацию. Иначе есть риск, что она так и останется идеей.

По-другому правление может работать, только когда у профессионального объединения появляется возможность нанять сотрудников, и можно разделить принятие решений и их исполнение.