Стандартизация как основа доказательности

Несколько дней назад в одной статье мне попался следующий комментарий медика: «Всем кажется, что музыка — это классно, и всем от нее хорошо. Но чтобы она стала терапией, нужно поставить терапевтическую цель, оценить некую функцию до вмешательства, стандартизировать само вмешательство и оценить его результат. Если эти условия соблюдать и доказать эффективность терапии, то любое вмешательство может стать терапией». (Автор комментария - Лев Брылев, невролог Городской клинической больницы имени Буянова и Центра реабилитации «Апрель». Статья была про то, как восстановиться после коронавируса.)

На мой взгляд, данный комментарий хорошо описывает подход медицинской профессии к доказательности, а именно то, что доказывать эффективность можно только для стандартизированного подхода.

В прошлом году я делала оценку двух больших программ, в рамках которых, в том числе, внедряли подходы, основанные на доказательной медицине, в национальные системы родовспоможения, благодаря чему получилось близко познакомиться как с тем, как доказательная медицина работает на практике.

Роды – это длительный процесс, в течение которого в любой момент что-то может пойти не так. Медики разделили этот процесс на этапы и определили ситуации, которые могут возникать на каждом этапе. И для каждой ситуации есть клинический протокол, то есть набор конкретных шагов, которые нужно предпринять, основанный на накопленных данных. Во время родов врачам нужно определить, с какой ситуацией они имеют дело в данный момент, и дальше действовать по соответствующему протоколу. (В клиниках, куда направляют женщин с повышенным риском осложнений, врачи используют несколько десятков клинических протоколов.) Такая система позволяет обеспечить, по сути, индивидуальный подход к каждой роженице, но с использованием комплекса стандартизованных практик с доказанной эффективностью.

Похожий подход начинает внедряться и в социальном проектировании. Например, в прошлом году Офис оценки Всемирного банка опубликовал обзор «Как изменить поведение: меню работающих подходов», в котором приведены практики, направленные на изменение моделей поведения, чья эффективность была доказана. Интересно, что предлагаемый подход к их использованию похож на то, что делают медики: сначала нужно определить, с какой ситуацией вы имеете дело, и уже исходя из этого выбрать подходящую практику.

Почему оценка называется оценкой?

Я недавно выступала на мероприятии, посвященном социальному проектированию. Спикер, выступавший передо мной, в общих чертах освещал весь цикл социального проектирования – от постановки цели до оценки, а я затем должна была подробнее рассказать об оценке. И когда этот спикер в своей презентации дошел до этапа оценки, он сказал, что есть несколько видов оценки, а именно: общественная экспертиза, общественные слушания и социальный аудит, то есть верификация результатов проекта внешним независимым специалистом. И добавил, что социальных аудиторов в России пока нет, и нужно развивать эту профессию с нуля. Поэтому свое выступление я начала с того, что социальные аудиторы вообще-то уже есть, и я один из них, вот только называемся мы специалистами по оценке социальных программ и проектов.

Изначально оценка использовалась именно как социальный аудит – для внешней верификации достижения ожидаемых результатов проектов, реализуемых на грантовые средства. Тогда почему она называется оценкой, а не аудитом? Все дело в стечении обстоятельств.

Одним из первых толчков к появлению оценки социальных проектов как профессии стало требование о проведении внешней оценки проектов в сфере школьного образования, получивших федеральные гранты, включенное в Закон о начальном и среднем образовании, который был принят в США в 1965 году. При принятии этого закона сошлось несколько звезд. Закон был принят в рамках «Войны с бедностью», объявленной президентом Линдоном Джонсоном. Джонсон был убежден, что образование – самый эффективный социальный лифт, так как именно образование позволило ему, выходцу из бедной семьи, построить блестящую карьеру. И поэтому он инициировал программу федеральных грантов на проекты, которые были призваны улучшить качество школьных знаний, получаемых детьми из бедных семей. Запуск и работу этой программы как раз и должен был регулировать Закон о начальном и среднем образовании.

Инициатором включения в этот закон требования о проведении оценки проектов был сенатор Роберт Кеннеди. Он опасался, что школы потратят деньги впустую, не принеся никакой пользы детям из бедных семей. И искал механизм, который бы позволил проконтролировать, достигаются ли результаты образовательных проектов, получивших федеральное финансирование.

И этот механизм ему помог найти Ральф Тайлер, к тому времени уже знаменитый ученый, работавший в сфере образования. Еще в 1949 году в книге «Базовые принципы формирования учебных планов и преподавания» (Basic Principles of Curriculum and Instruction) Тайлер писал, что нужно ставить образовательные цели, планировать и затем оценивать их достижение, и использовать результаты оценки для совершенствования процесса обучения. Тайлер использовал слово «evaluation» (оценка), и именно оно и было использовано в законе.

Достаточно быстро требование о проведении «evaluation» (оценки) распространилось и на другие проекты в социальной сфере, финансируемые из федерального бюджета. Соответственно, возник спрос на ее проведение, и началось активное развитие оценки как профессии.

Какой тип подхода к работе с благополучателями использует оцениваемый проект: стандартизованный или индивидуальный?

Я очень люблю свою профессию, потому что каждая новая оценка заставляет думать, и каждый раз понимаешь для себя что-то новое. Инсайт этой недели – на этапе анализа объекта оценки, когда нужно разобраться, как он работает, одна из первых задач – понять, какой тип подхода к организации работы с благополучателями используется: стандартизованный или индивидуальный.

Оценка как профессия формировалась с 1970-80-е годы, когда верили, что можно найти оптимальный механизм, то есть набор конкретных действий, для решения любой социальной проблемы, - то есть, что-то похожее на кулинарный рецепт, в котором говорится, сколько каких продуктов нужно взять и что с ними сделать. И затем такой рецепт-механизм, разработанный для решения определенной проблемы, можно будет применить к любому человеку, у которого есть данная проблема, и проблема решится.

У такого подхода масса преимуществ. Например, исполнителю, который работает по готовому рецепту, достаточно более низкого уровня квалификации, чем человеку, который разрабатывает рецепты. Рецепт можно применять, не тратя времени на раздумья, поэтому повышается производительность работы. В результате сокращаются затраты на применение «рецепта» к одному благополучателю, то есть повышается экономическая эффективность деятельности. Кстати, оценка «продавала» себя потенциальным заказчикам - организациям, реализующим проекты и программы социальной направленности, как инструмент, которые поможет найти самый эффективный (и, по сути, самый дешевый) рецепт.

Вот только на практике идея, что использование стандартизованной процедуры будет в каждом случае давать абсолютно одинаковый результат, работает довольно условно. Даже при штамповке на автоматизированном станке все произведенные детали немного отличаются друг от друга. А в социальной сфере разброс результатов всегда довольно значительный: для кого-то из благополучателей «рецепт» дает результаты сильно выше среднего, для кого-то – ближе к среднему, а для кого-то – настолько ниже среднего, что они совсем не дотягивают до ожидаемого результата.

Левая часть картинки – хорошая тому иллюстрация. Ожидаемый результат данного «проекта» - мальчики хорошо видят игровое поле во время матча и могут получить удовольствие от игры. «Рецепт», то есть механизм достижения данного результата, - дать каждому ребенку по одинаковой подставке под ноги. Если принять, что мальчиков всего трое, то получается, что ожидаемый результат достигнут для 67% благополучателей.

Если нужно, чтобы ожидаемый результат был достигнут для каждого мальчика, нужен не стандартизованный, а индивидуальный подход. Не смотря на название, индивидуальный подход не отменяет стандартизации, только стандартизировать нужно результат, а не процесс его достижения. Например, если взять ситуация на картинке, стандартом для результата могло бы быть «глаза ребенка должны быть на уровне не менее 30 см выше края ограждения поля».  И тогда в каждом случае исполнитель должен будет продолжать работать с благополучателем, пока не доведет его до заданного уровня результата.

Индивидуальный подход не обязательно дороже стандартизированного, что хорошо иллюстрирует правая часть картинки. Но он точно требует более высокого уровня исполнителей. Кроме того, необходимо описать стандартный уровень ожидаемого уровня результата так, чтобы его можно было измерить.

Кстати, оценка проектов и программ тоже основана на индивидуальном подходе, и специалист по оценке должен уметь разработать методологию, которая позволит ему ответить на конкретные вопросы в конкретной ситуации и при наличии определенных конкретных ограничений.

Но именно благодаря тому, что оценка предполагает индивидуальный подход, ее можно сделать можно и тогда, когда проект (или организация) использует стандартизованный подход к работе с благополучателями, и когда применяется индивидуальный подход. Но специалисту по оценке важно понимать, какой подход использует проект, потому что это повлияет принимаемые методологические решения. Например, на формирование выборки. Один из возможных вариантов целевой выборки – выборка типичных случаев. Если проект использует стандартизованный механизм работы, типичными будут случаи, когда благополучатели получили типичные результаты. Если же проект использует индивидуальный подход к благополучателям, типичными будут случаи, когда для достижения стандартизованного результата было потрачено типичное количество ресурсов и времени. Другой вариант – целевая выборка крайних случаев, то есть случаев, которые сильно отличаются от типичных. Для проекта, который использует стандартизованный механизм достижения результатов, крайними будут случаи, когда были получены очень хорошие и очень плохие результаты. Но если проект доводит всех благополучателей до определенного уровня результатов, то крайними будут случаи, когда на это потребовалось много больше и много меньше ресурсов и времени, чем обычно, или когда не удалось "довести" клиента до нужного уровня результата.

Обязательно ли использовать критерии оценки

Недавно на семинаре меня спросили, обязательно ли использовать критерии при формировании задания на проведение оценки. Ответ, как это часто бывает в нашей профессиональной области: «It depends» - «Зависит…».

Во-первых, зависит от того, какого определения оценки вы придерживаетесь. Если вы ориентируетесь на классическое англоязычное определение, что оценка – это вынесение суждения о ценности (worth and merit) проекта или программы на основании системно собранных данных, то без критериев не обойтись. Критерий – это значимая (ценная) для заказчика характеристика объекта оценки. Соответственно, чтобы специалист по оценке мог вынеси суждение о ценности проекта или программы, ему необходимо знать, что представляет ценность для заказчика.

Если же вы ориентируетесь на определение, что оценка – это комплекс аналитических мероприятий, которые должны удовлетворить информационные потребности заказчика, то можно обойтись без критериев. Правда, и в этом случае на основании вопросов оценки можно понять, какие характеристики оцениваемого проекта или программы – то есть критерии – важны заказчику. Например, если заказчик хочет знать, какие изменения произошли в жизни благополучателей благодаря его программе, логично предположить, что ему важна результативность или наличие долгосрочного эффекта.

Во-вторых, зависит от ситуации. Например, большим организациям, которые реализуют или финансируют много разных проектов, приходится вырабатывать стандартные требования к этим проектам, и тут критерии приходятся очень кстати. И если руководство организации решило, что проекты должны быть, скажем, результативными и обеспечивать устойчивость полученных результатов, то эти два критерия потом будут использоваться в этой организации для оценки проектов как на этапе замысла, так и по итогам реализации.

Если же у организации по каким-то причинам нет таких стандартных требований к проектам (например, организация молодая, небольшая или у нее немного проектов), то при формировании заказа на проведение оценки ее сотрудники будут ориентироваться на свои информационные потребности, и критерии не будут присутствовать в задании в явном виде.

Кроме того, даже когда у организации-заказчика есть набор стандартных критериев оценки проектов, не обязательно привязывать конкретный вопрос оценки только к одному критерию. В одном вопросе можно объединить несколько критерии, например, критерии релевантности и результативности: «Насколько проект соответствовал потребностям благополучателей, и как это повлияло на достижение непосредственных и опосредованных результатов проекта?»