Я люблю оценку

 

Отмечать 15 февраля EVALentine’s Day – День влюбленных в оценку придумал американский специалист по оценке Джон Гаргани. Это такой несерьезный праздник, когда можно говорить не о том, почему оценка социальных проектов и программ важна, а почему нам, специалистам по оценке, нравится ей заниматься.

Для меня один из любимых моментов в ходе оценки – это когда при анализе собранных данных начинаешь видеть какие-то закономерности, когда складывается стройная картина того, что произошло в результате проекта, и особенно когда в этой картине обнаруживаются какие-то неожиданные позитивные моменты.

И меня очень радует, когда в результате оценки что-то новое в своих проектах открывают люди, которые их реализуют. В прошлом году я работала с Благотворительным фондом «Арифметика добра» по оценке одного из их проектов. Было очень приятно, когда после ее завершения коллеги поделились, что благодаря оценке открыли для себя новые смыслы и по-иному увидели свою деятельность, в которой, казалось бы, им все уже было понятно.

Руководящие принципы оценки ПРООН стали доступны на русском!

Офис оценки Программы развития ООН, самого крупного из агентств этой системы, перевел свои «Руководящие принципы проведения оценки» на русский язык. Насколько мне известно, это первый такой случай в истории, раньше все руководящие документы на тему оценки в агентствах ООН существовали только на английском языке.

Руководство написано для менеджеров внутри ПРООН, которые планируют и организуют проведение оценки, включая найм внешних консультантов, а также координируют процесс принятия решений по результатам оценки и оценки качества проведенной оценки. У нас не так много литературы по теме оценки на русском языке, и она в основном посвящена методологическим аспектам оценки. А тут появилась возможность посмотреть, как выглядит оценка с точки зрения тех, кто ее заказывает и ею управляет.

Перевод не идеальный: например, мне понадобилось залезть в английский оригинал, чтобы выяснить, что «Круг полномочий оценки» — это перевод Terms of Reference (Техническое задание). Тем не менее документ дает неплохое представление о том, как может выглядеть архитектура оценки в большой организации, которая работает во множестве мест, и где оценка применяется уже много десятилетий. Например, в ПРООН есть децентрализованная оценка страновых программ, которая может быть промежуточной и итоговой. Организацией и управлением такой оценкой занимаются страновые офисы ПРООН. Также есть независимая оценка страновых программ, которая относится уже к ведению Независимого офиса оценки в штаб-квартире агентства. А есть тематические оценка, объектом которой становится работа всего агентства в той или иной тематической области.

Кроме того, в «Руководящих принципах» приведены шаблоны управленческих документов, которые нужно разрабатывать в процессе оценки: например, форма для плана оценки или форма для расчета бюджета оценки.

Вот ссылка на станицу русского перевода руководства: http://web.undp.org/evaluation/guideline/Russian/index.shtml

И на станицу английского оригинала: http://web.undp.org/evaluation/guideline/index.shtml

 

«Единство и борьба» методов монетарной оценки

В конце января я была на вебинаре по анализу издержек и выгод (cost-benefit analysis – CBA), и неожиданно закрыла для себя один из вопросов, который давно «грыз» меня по поводу SROI (social return on investment – социальный возврат на инвестиции). Кстати, в CBA под выгодами (benefits) имеются в виду социальные результаты, и на русский язык этот метод будет корректнее перевести как анализ созданных социальных благ и понесенных при этом затрат.

CBA я изучала в США в середине 1990-х, когда училась в магистратуре. В том курсе CBA базировался на экономической теории общественного блага (public good). Английское «good», как, кстати и русское «добро», одновременно означает и благо, и товар. Общественные блага – это такие особые товары, полезность которых для отдельно взятого потребителя существенно ниже стоимости их производства, поэтому отдельный человек их никогда не купит. Но зато ими могут одновременно пользоваться много людей без потери полезности. И эти люди могут договориться, скинуться и купить такой товар вскладчину. Или делегировать функцию производства общественных благ государству, «скидываясь» на это своими налогами.

Стоит отметить, что возможность переводить деньги с мобильного подтвердило данную идею на практике. С точки зрения экономики, если человек отдал за что-то деньги, то полезность того, что он получает взамен, для него как минимум не меньше этой суммы. Соответственно, для человека, который перечислил деньги на чье-то лечение, то, что этот человек получит лечение, - благо, польза, пусть и небольшая.

Когда делают CBA, нужно посчитать, с одной стороны, затраты на производство интересующего нас общественного блага, а с другой – суммарную денежную оценку этого блага для всех, кто им пользуется. Потом с полученными суммами проводится хитрая манипуляция под названием дисконтирование, и затем сравнивают итоговые денежные оценки полученных благ и затрат. И хорошо, когда благ получается больше, чем затрат.

SROI предполагает похожий процесс, но нужно учитывать денежную оценку ценности/полезности созданных благ только для непосредственных благополучателей проекта. Например, у вас проект, в рамках которого вы привлекаете волонтеров, и они убирают одиноким пенсионеркам квартиры. SROI учитывает только благо, которое получили пенсионерки. Время волонтеров – это затраты. Но, с точки зрения экономики, если волонтер потратил три часа своего времени на что-то, то он получил как минимум столько же пользы (блага). Плюс, возможно, организация, привлекавшая волонтеров, по сути, сэкономила ресурсы, так как не нанимала уборщиков. В CBA нужно учесть блага, полученные всеми участниками процесса, поэтому суммарное благо получается больше, чем при использовании SROI.

Меня всегда смущало, что на семинарах по SROI про CBA говорят, что это слишком сложно и вам не нужно, и никогда не говорят, что при использовании CBA оценка полученного блага будет больше.

На январском вебинаре по CBA своим опытом делилась Сальвия Виньетти из Центра индустриальных исследований в Милане. Они делают CBA для инфраструктурных проектов, например, строительства или ремонта дорог. Оказалось, они тоже занимают позицию, что созданные блага нужно считать только для непосредственных благополучателей. Но есть внятное объяснение такой позиции. Во-первых, так проще и дешевле – в смысле трудозатрат – посчитать создаваемые блага. Во-вторых, если объем создаваемых благ превысит объем затрат даже при таком ограниченном учете, мы можем быть уверены, что на данный проект стоит тратить деньги.

Когда Сильвия сказала это, я подумала: «Бинго, это объяснение отлично подходит и для SROI».

Коллеги, если кому-то интересна тема CBA, вот ссылка на материалы вебинара, к сожалению, только на английском языке: https://www.evalforward.org/webinars/cost-benefit-analysis

За цифрами должны быть видны люди

«Используйте статистику, чтобы описать масштаб явления, но сопровождайте ее историями, чтобы за цифрами были видны люди». Это цитата Майкла Квина Пэттона из его недавнего видео на YouTube.

Майкл Пэттон – человек, который за пятьдесят лет работы в сфере оценки сделал невероятно много для ее развития, и ему по-прежнему интересно двигаться вперед. Слушать его выступления – каждый раз праздник для интеллекта. И у него всегда получается связать любые актуальные события с оценкой. Февраль – месяц «черной» истории в США. В своем видео Пэттон ссылается на колонку в Нью-Йорк Таймс, посвященную подходам к изучению истории рабства. Тема рабства для США – примерно то же, что тема политических репрессий в СССР для нас, только у них потомки рабов и рабовладельцев отличаются внешне, что создает дополнительное напряжение.

Автор колонки пишет, что, анализ статистики о масштабах работорговли скрывает страдания людей, ставших ее жертвами. Пэттон напоминает о принципе сочетания методов, широко принятом сегодня в оценке. Но не о его прагматической механике: выбор методов сбора и анализа должен соответствовать вопросам оценки, - а о его гуманистической сути: социальные проекты пытаются решать реальные проблемы реальных людей, и, хотя цифры важны для понимания масштабов как проблемы, так и результатов проекта, за ними нельзя терять истории этих людей. «No numbers without stories, no stories without numbers» - «Истории и цифры – всегда вместе».