Новые критерии оценки

В декабре прошлого года Комитет содействия развитию Организации экономического сотрудничества и развития (КСР ОЭСР), также широко известный по своей английской аббревиатуре OECD-DAC, принял обновленный набор критериев оценки. Новая версия критериев стала результатом широкого обсуждения среди специалистов в области оценки. Любопытно, что специалист Комитета, представляя новые критерии на недавнем вебинаре, специально подчеркнула, что на новые формулировки критериев в значительной мере повлияла Повестка 2030, определяющая цели в области устойчивого развития (ЦУР). Примеры такого влияние – усиление фокуса на благополучателей при описании критерия «Актуальность», появление критерия «Согласованность», который анализируем «совместимость» оцениваемого проекта с другими проектами, реализуемыми в том же секторе, и указание на то, что нужно анализировать результаты проекта для разных групп заинтересованных сторон, при описании критерия «Результативность».

Момент, который мне очень понравился в описании того, как надо применять критерии, – это принцип осознанности, вдумчивости. Критерии нельзя применять механически, в случае каждой оценки нужно учитывать ее контекст и потребности заинтересованных сторон.

Ниже привожу сокращенный перевод описания новых критериев на сайте КСР ОЭСР. С полной версией – на английском – можно познакомиться на сайте организации: DAC criteria

Зачем нужны критерии оценки

Критерии нужны, чтобы можно было определить ценность оцениваемого проекта, программы или другой интервенции. Каждый критерий представляет собой особый угол зрения, под которым можно рассматривать интервенцию. А в совокупности критерии дают возможность получить комплексное представление о процессе реализации и результатах проекта или программы.

Критерии также выполняют роль нормативов. Они описывают характеристики, которыми должны обладать проекты и программы: все проекты и программы должны соответствовать условиям своей реализации, быть согласованными с другими программами и проектами, достигать ожидаемых результатов, рационально использовать выделенные ресурсы и иметь позитивное долгосрочное влияние.

Критерии используются не только при проведении оценки, но и при планировании интервенций и в целом в рамках управления по результатам.

Как нужно использовать критерии оценки

При применении критериев нужно придерживаться следующих принципов:

1. Критерии нужно применять осознанно, вдумчиво. Это позволит обеспечить высокое качество оценки. Критерии нужно обязательно интерпретировать в контексте конкретной оценки с учетом особенностей оцениваемого проекта и его заинтересованных сторон. Основой для интерпретации критериев служат вопросы оценки и то, как будут использоваться ответы на них.
2. Использование критериев зависит от назначения оценки. Критерии нельзя применять механически. Нужно учитывать потребности заинтересованных сторон и контекст оценки. Количество времени и ресурсов, выделяемых на анализ каждого критерия, может меняться в зависимости от назначения оценки. Доступность данных, ограничения по объему имеющихся ресурсов и времени, методологические соображения – все это может влиять на решение, какие критерии оценки использовать в конкретном случае.

Критерии – определение

Актуальность – соответствие целей и дизайна проекта или программы потребностям благополучателей, а также международным и национальным политикам, приоритетам и потребностям и политикам, приоритетам и потребностям организаций партнеров. Цели и дизайн проекта или программы должны быть актуальными как на момент разработки проекта или программы, так и в процессе их реализации, даже если условия этой реализации меняются.

При анализе актуальности проекта или программы нужно рассмотреть наличие возможных конфликтов между приоритетами различных заинтересованных сторон. Также нужно проанализировать, как менялись условия реализации проекта или программы, и как при этом изменялся сам проект или программа, чтобы сохранить актуальность.

Согласованность/ гармоничность – совместимость проекта или программы с другими проектами или программами, которые реализуются в данной стране, секторе или организации.

В ходе оценки нужно проанализировать, в какой степени данный проект или программа способствуют или, наоборот, мешают реализации других проектов, программ и политик. Есть внутренняя и внешняя согласованность. Анализ внутренней согласованности предполагает рассмотрение наличия синергии между оцениваемой интервенцией и другими интервенциями данной организации или правительства, а также с международными нормами и стандартами, которых данная организация или правительство придерживаются. Анализ внешней согласованности предполагает рассмотрение степени гармонизации, скоординированности, отсутствия дублирования или, наоборот, наличия противоречий и дублирования между оцениваемой программой или проектов и программами и проектами других организаций, работающих в том же секторе.

Результативность – степень достижения ожидаемых результатов и наличие различных результатов для различных групп. При анализе результативности необходимо учитывать степень значимости тех или иных результатов.

Рациональность использования ресурсов – насколько экономно и своевременно использовались выделенные ресурсы для получения результатов. Анализ экономичности предполагает сравнение реальных затрат на получение результатов с затратами, которые бы возникли при других, альтернативных способах получения таких же результатов. Анализ своевременности предполагает сравнение фактических и запланированных сроков реализации проекта или программы с учетом их адаптации к меняющимся условиям.

Влияние – в какой степени проект или программа привели или могут привести к заметным позитивным или негативным запланированным или незапланированным результатам высокого уровня.

При анализе влияния нужно рассматривать значимость и потенциальные трансформационные эффекты проекта или программы: социальные, экологические и экономические. Эффекты могут включать изменение в существующих системах и нормах, которые приводят к изменению уровня благосостояния людей, степени соблюдения прав человека, гендерного равенства и качества природной среды.

Устойчивость – как долго сохранятся или могут сохраниться позитивные результаты проекта или программы.

Анализ устойчивости предполагает рассмотрение финансового, экономического, природного и институционального потенциала систем, на которые воздействовал проект или программа, с точки зрения того, насколько эти системы смогут обеспечить сохранение позитивных результатов проекта с течением времени.