Как измерить Валовое национальное счастье

20 марта отмечают Международный день счастья. Он был учрежден решением Генеральной Ассамблеи ООН в 2012. В том же году на базе ООН прошел пленум «Благосостояние и счастье как новая экономическая парадигма».

Одним из инициаторов учреждения Дня счастья было Королевство Бутан, небольшая страна в отрогах Гималаев. Я была в Бутане в 2017 году на конференции по оценке, которую организовала Ассоциация специалистов по оценке Южной Азии в партнерстве с Ассоциацией оценки Бутана и правительством в лице Комиссии по Валовому национальному счастью. Одна из сессий на конференции была посвящена тому, как в Бутане измеряют валовое национальное счастье.

Оказалось, что в Бутане с давних пор считают, что правительство должно отвечать за счастье граждан. «Правительство, которое не может сделать народ счастливым, не имеет права на существование», - было написано в Своде законов Бутана 1729 года. Уже в наши дни король Бутана в одном из своих выступлений заявил, что «Валовое национальное счастье важнее, чем Валовый национальный продукт». А в современной конституции страны сказано, что «государство должно стремиться создать условия, необходимые для создания Валового национального счастья».

Правительство Бутана считает, что счастье – это результат наличия благоприятных условий в девяти сферах жизни человека, и, соответственно, государство должно эти условия создавать и улучшать. Сферы включают:

• Психологическое благополучие;
• Здоровье;
• Баланс в использовании времени;
• Образование;
• Культурные разнообразие и устойчивость;
• Качественное госуправление;
• Стабильность местных сообществ;
• Экологические разнообразие и устойчивость;
• Качество жизни.

Положение дел в этих сферах измеряют с помощью опроса. Результаты затем используют при формировании национальных пятилетних планов.

В анкете, которая использовалась для опроса в 2015 году, было 148 вопросов. Например, в блоке, посвященном психологическому благосостоянию, людей спрашивают, насколько они удовлетворены жизнью в целом, а также отношениями с членами семьи, уровнем жизни, работой и балансом между работой и частной жизнь – по шкале от 0 до 10. В блоке, посвященном здоровью, людей, например, просят оценить, насколько здоровыми они себя чувствуют; ответить, есть ли у них тот или иной вид ограничений по здоровью, и сколько времени им нужно, чтобы добраться до ближайшего медицинского учреждения. В блоке, посвященном использованию времени, вопросы касаются, например, того, сколько времени человек посвящает сну, молитве, приготовлению пищи и т.п. В блоке, посвященному устойчивости сообществ, людей спрашивают, как давно они живут в своем населенном пункте, жертвуют ли они время и деньги на нужды сообщества, и насколько они доверяют соседям.

У меня есть отчет Комиссии по Валовому национальному счастью о положении дел в стране по результатам опроса, проведенного в 2015. Читать, как правительство с гордостью рапортует, например, что граждане стали спать на 15 минут в день больше (528 минут в 2015 году по сравнению с 513 минутами в 2010), немного странно, но понимаешь при этом, что для правительства Бутана гражданин не производительная единица, а живой человек.

Интересно, что счастье, которое должно создавать государство, и субъективное ощущение счастья человеком, - в Бутане не одно и тоже. В рамках опроса людей спрашивают, насколько счастливыми они себя ощущают: сегодня, вчера, за последний год, - но эти ответы не являются решающими, при определении уровня счастья. Так что счастье по-бутански, по сути, ближе к качеству жизни.

На основании заполненной анкеты для человека рассчитывают 33 показателя, описывающих качество его жизни в девяти сферах. Если по двум третям этих показателей человек достигает уровня «достаточного качества», его считают счастливым. И затем рассчитывают Индекс Валового национального счастья – как сумму доли людей, которые считаются счастливыми, плюс доля тех, кто еще не достиг счастья, помноженная на средний процент индикаторов, по которым у таких людей достигнут уровень «достаточного качества».

Оценка vs аудит эффективности

Я на волонтерских началах веду страницу Глобального движения парламентариев за использование оценки в госуправлении, поэтому регулярно отслеживаю, кто и как использует оценку в госсекторе. На днях с удивлением обнаружила, что Счетные палаты тоже делают оценку, а не только аудит эффективности.

Оказалось, что в рамках Международной организации высших органов аудита (INTOSAI), членами которой являются Счетные палаты 194 стран мира – включая Россию, с 1992 года действует Рабочая группа по оценке программ. Сейчас в нее входят Счетные палаты 22 стран. В 2016 году группа опубликовала «Руководство по оценке государственных политик». В этом документе очень изящно разведены понятия оценки и аудита эффективности.

Согласно стандарта Международной организации высших органов аудита ISSAI 300 «Основополагающие принципа аудита эффективности», данный вид аудита представляет собой независимую, объективную и достоверную проверку деятельности правительства на предмет ее соответствия принципам (критериям) экономичности, эффективности и результативности. Принцип экономичности требует минимизации затрат: используемые ресурсы должна приобретаться по лучшей цени и поставляться в нужное время, в нужно объеме и нужного качества. Принцип эффективности относится к отношению непосредственных результатов работы правительства к понесенным затратам и требует максимальной отдачи от использования ресурсов. Принцип результативности предполагает достижение запланированных результатов.

«Руководство по оценке государственных политик» признает, что при проведении оценки политик также используют критерии экономичности, эффективности и результативности. Но, согласно «Руководству», оценка смотрит на оцениваемую политику (или программу) шире. При проведении оценки используются еще два критерия: соответствие потребностям целевых групп политики (программы) и, главное, общая полезность политики с учетом ее запланированных и незапланированных результатов, причем как непосредственных, так и опосредованных. То есть критерий «полезности» (utility) по сути совпадает с критерием «влияния/социального воздействия» (impact), который обычно используют при проведении оценки, но слово «полезность» мне нравится больше.

Помимо описания соотношения между аудитом эффективности и оценкой, в «Руководстве» есть еще несколько интересных моментов:

• Результаты политики нужно измерять с помощью как количественных, так и качественных показателей.
• Измерять нужно не только «объективные» результаты, но и «субъективные», то есть, по сути, нужно учитывать мнение различных заинтересованных сторон, затрагиваемых оцениваемой политикой.
• Оценка должна отслеживать цепочки результатов/изменений, инициируемый применением политики.
• При проведении оценки политик Счетные палаты (и подрядчики, которым они могут заказывать проведение оценки) должны активно сотрудничать с широким кругом заинтересованных сторон – вплоть до совместного принятия решений о методологии оценки.

Дерево вопросов

Начинаю очередную оценку для одного из агентств ООН. По правилам агентства, при проведении оценки создают консультативную группу, в которую входят представители национальных государственных и негосударственных структур, имеющих отношение к оцениваемому проекту или программе. Члены группы должны быть хорошо знакомы с местной ситуаций и программой, и могут помочь внешним специалистам по оценке выбрать все нужные источники информации и потом корректно интерпретировать собранные данные и выработать полезные рекомендации. Поэтому членов группы просят изучить и дать обратную связь на Техническое задание (ТЗ) на проведении оценки, на документ, описывающий методологию проведения оценки, и, наконец, на отчет о результатах оценки.

Идея хорошая, но на практике возникают проблемы, потому что оценка – это отдельная профессиональная область со своей терминологией, с которой члены консультативной группы часто сталкиваются в первый раз. И вот они с ходу получают ТЗ, в котором описаны цели оценки, критерии оценки, вопросы оценки, к которым на следующем этапе добавляются еще и оцениваемые допущения. И времени на прямое общение с членами консультативной группы специалистам по оценка дают минимум. Поэтому я каждый раз пытаюсь придумать, как быстро объяснить людям, что все, что написано в ТЗ, не куча-мала из слов, а стройная конструкция, описывающая механизм проведения оценки. В этот раз я придумала, что можно говорить о «дереве вопросов оценки».

Уверена, многие знакомы с таким инструментом проектного менеджмента, как дерево целей или задач. Есть шутка: «Может ли человек съесть слона? – Может, но по кусочкам».  Дерево целей как раз это и делает: последовательно делит одну большую и сложную задачу на множество небольших. Число уровней в таком дереве в принципе не ограничено, хотя литература по проектному менеджменту рекомендует не делать больше двадцати уровней.

Оценку проекта также можно рассматривать как проект. В моем случае общей целью данного проекта является «обеспечить подотчетность», «вынести уроки из полученного опыта и дать рекомендации на будущее». «Обеспечить подотчетность» - это подстрочный перевод английского словосочетания, которое означает, что оценка должна проверить, в какой степени реализация оцениваемой программы соответствовала правилам, принятым в агентстве. Соответственно, эту цель оценки можно сформулировать в виде вопроса: «Насколько реализация программы соответствовала внутренним правилам агентства?»

А внутренние правила говорят, что программы агентства должны соответствовать потребностям стран, где агентство работает, и стратегии самого агентства, отсюда критерий «relevance - релевантность», который на русский обычно переводят как «актуальность». Кроме того, программы должны достигать запланированных результатов (результативность), эффективно используя имеющиеся ресурсы (экономическая эффективность). А реализующий программы страновой офис должен обеспечить сохранение положительных эффектов, полученных благодаря программе и после ее окончания (устойчивость), и активно координировать свою работу с другими агентствами ООН, работающими в стране (скоординированность работы в рамках становой команды). Соответственно, критерии оценки также переводятся в вопросы: «Насколько актуальной была программа?», «Насколько результативной была программа?» и т.д.

На следующем уровне детализации вопросы появляются уже в явном виде. Например, под критерием «актуальность» в ТЗ могут быть вопросы типа «Насколько программа соответствовала стратегическим планам агентства?», «Насколько программа соответствовала потребностям целевых групп?» и т.п. А под критерием «результативность» - «Насколько своевременно были реализованы запланированные мероприятия программы?», «В какой степени реализованные мероприятия способствовали достижению запланированных результатов программы?» и т.д.

В моем случае на этапе дизайна оценки нужно проводить дальнейшую детализацию, потому что программа работала одновременно в нескольких тематических областях. В агентстве этот уровень называют «оцениваемыми допущениями». Допущение – это, по сути, описание, как в том или ином аспекте должна была работать программа или ее исполнители. И для каждого вопроса оценки нужно определить набор соответствующих допущений. И затем для каждого допущения нужно определить источники и методы сбора и анализа информации. Например, для вопроса «Насколько своевременно были реализованы запланированные мероприятия программы?» целесообразно сформулировать допущения, что «Были своевременно реализованы запланированные мероприятия в тематической области А», «Были своевременно реализованы запланированные мероприятия в тематической области В», и т.п. Но все эти допущения можно представить и в виде вопросов, например, «Насколько своевременно были реализованы запланированные мероприятия в тематической области А?». Кстати, в другом агентстве это уровень детализации называют «уточняющими вопросам».

Таким образом, первый этап оценки можно рассматривать как построение «дерева вопросов», когда от общих вопросов переходят в более конкретным, чтобы затем можно было корректно – и понятно для неспециалистов - разработать методологию оценки.

Пример Дерева вопросов оценки.