Несколько лет назад я проводила семинар по оценке для руководителей местных НКО в одном из городов. И мне задали вопрос, как сделать так, чтобы члены
конкурсной комиссии местной грантовой программы правильно оценивали проектные
заявки. Мой ответ, что в экспертной оценке всегда присутствует значительная
доля субъективности, участников не удовлетворил. И тогда я предложила провести эксперимент:
мы взяли наугад реальную заявку, поданную на конкурс, и каждый из девяти
участников семинара оценил ее по критериями, которые использовались в рамках
конкурса. По каждому критерию можно было дать от 0 до 5 баллов.
Ниже представлены баллы по критериям, которые поставил заявке
каждый из участников семинара.
Таблица 1: Индивидуальные оценки, поставленные разными экспертами.
В результате по каждому критерию получился значительный разброс
оценок, и максимальная сходимость оценок получилось для критерия «Софинансирование»
- в соответствующем разделе заявки был указан процент обещанного софинансирования.
Таблица 2: Число экспертов, которые поставили тот или иной балл по каждом критерию.
Таблица 3: Разброс оценок по каждому критерию.
Если считать, что каждую заявку в конкурсе оценивают три эксперта, заявка могла в сумме набрать от 58 баллов, если бы ее получили три эксперта, которые поставили самые низкие баллы, до 98 баллов, если бы ее оценивали те, кто оценил ее наиболее позитивно. Если брать средний бал, оценка бы была в диапазоне от 19.3 (или 43% от максимально возможной оценки в 45 баллов) до 32.6 баллов (72%).
О чем это говорит? О том, что экспертная оценка не очень
точный инструмент «измерения». Именно поэтому, например, в доказательной
медицине мнение эксперта считается наименее надежным доказательством
эффективности лекарства или метода лечения.
