Дерево вопросов

Начинаю очередную оценку для одного из агентств ООН. По правилам агентства, при проведении оценки создают консультативную группу, в которую входят представители национальных государственных и негосударственных структур, имеющих отношение к оцениваемому проекту или программе. Члены группы должны быть хорошо знакомы с местной ситуаций и программой, и могут помочь внешним специалистам по оценке выбрать все нужные источники информации и потом корректно интерпретировать собранные данные и выработать полезные рекомендации. Поэтому членов группы просят изучить и дать обратную связь на Техническое задание (ТЗ) на проведении оценки, на документ, описывающий методологию проведения оценки, и, наконец, на отчет о результатах оценки.

Идея хорошая, но на практике возникают проблемы, потому что оценка – это отдельная профессиональная область со своей терминологией, с которой члены консультативной группы часто сталкиваются в первый раз. И вот они с ходу получают ТЗ, в котором описаны цели оценки, критерии оценки, вопросы оценки, к которым на следующем этапе добавляются еще и оцениваемые допущения. И времени на прямое общение с членами консультативной группы специалистам по оценка дают минимум. Поэтому я каждый раз пытаюсь придумать, как быстро объяснить людям, что все, что написано в ТЗ, не куча-мала из слов, а стройная конструкция, описывающая механизм проведения оценки. В этот раз я придумала, что можно говорить о «дереве вопросов оценки».

Уверена, многие знакомы с таким инструментом проектного менеджмента, как дерево целей или задач. Есть шутка: «Может ли человек съесть слона? – Может, но по кусочкам».  Дерево целей как раз это и делает: последовательно делит одну большую и сложную задачу на множество небольших. Число уровней в таком дереве в принципе не ограничено, хотя литература по проектному менеджменту рекомендует не делать больше двадцати уровней.

Оценку проекта также можно рассматривать как проект. В моем случае общей целью данного проекта является «обеспечить подотчетность», «вынести уроки из полученного опыта и дать рекомендации на будущее». «Обеспечить подотчетность» - это подстрочный перевод английского словосочетания, которое означает, что оценка должна проверить, в какой степени реализация оцениваемой программы соответствовала правилам, принятым в агентстве. Соответственно, эту цель оценки можно сформулировать в виде вопроса: «Насколько реализация программы соответствовала внутренним правилам агентства?»

А внутренние правила говорят, что программы агентства должны соответствовать потребностям стран, где агентство работает, и стратегии самого агентства, отсюда критерий «relevance - релевантность», который на русский обычно переводят как «актуальность». Кроме того, программы должны достигать запланированных результатов (результативность), эффективно используя имеющиеся ресурсы (экономическая эффективность). А реализующий программы страновой офис должен обеспечить сохранение положительных эффектов, полученных благодаря программе и после ее окончания (устойчивость), и активно координировать свою работу с другими агентствами ООН, работающими в стране (скоординированность работы в рамках становой команды). Соответственно, критерии оценки также переводятся в вопросы: «Насколько актуальной была программа?», «Насколько результативной была программа?» и т.д.

На следующем уровне детализации вопросы появляются уже в явном виде. Например, под критерием «актуальность» в ТЗ могут быть вопросы типа «Насколько программа соответствовала стратегическим планам агентства?», «Насколько программа соответствовала потребностям целевых групп?» и т.п. А под критерием «результативность» - «Насколько своевременно были реализованы запланированные мероприятия программы?», «В какой степени реализованные мероприятия способствовали достижению запланированных результатов программы?» и т.д.

В моем случае на этапе дизайна оценки нужно проводить дальнейшую детализацию, потому что программа работала одновременно в нескольких тематических областях. В агентстве этот уровень называют «оцениваемыми допущениями». Допущение – это, по сути, описание, как в том или ином аспекте должна была работать программа или ее исполнители. И для каждого вопроса оценки нужно определить набор соответствующих допущений. И затем для каждого допущения нужно определить источники и методы сбора и анализа информации. Например, для вопроса «Насколько своевременно были реализованы запланированные мероприятия программы?» целесообразно сформулировать допущения, что «Были своевременно реализованы запланированные мероприятия в тематической области А», «Были своевременно реализованы запланированные мероприятия в тематической области В», и т.п. Но все эти допущения можно представить и в виде вопросов, например, «Насколько своевременно были реализованы запланированные мероприятия в тематической области А?». Кстати, в другом агентстве это уровень детализации называют «уточняющими вопросам».

Таким образом, первый этап оценки можно рассматривать как построение «дерева вопросов», когда от общих вопросов переходят в более конкретным, чтобы затем можно было корректно – и понятно для неспециалистов - разработать методологию оценки.

Пример Дерева вопросов оценки.