Экспертные оценки являются важнейшим инструментом при решении сложных управленческих, научных и технологических задач. От правильного подбора экспертов зависит надёжность полученных результатов, их объективность и практическая ценность. В статье рассматриваются основные подходы и конкретные методики, которые позволяют сформировать экспертную группу, отвечающую требованиям проекта.

Почему отбор экспертов так важен?

Экспертная оценка выполняет несколько ключевых функций:

• Информационная — предоставление специализированных знаний, недоступных широким массам.
• Прогностическая — построение сценариев развития событий на основе опыта и интуиции.
• Контрольная — проверка гипотез и моделей с точки зрения практикующих специалистов.
• Принятие решений — формирование консенсуса, который служит основанием для управленческих или политических решений.

Неправильный отбор может привести к систематическим ошибкам, предвзятости и, как следствие, к принятию неверных решений.

Критерии оценки компетентности экспертов

Для объективного выбора экспертов используют как объективные, так и субъективные критерии;

Объективные критерии

1. Профессиональная принадлежность – степень соответствия специализации эксперта теме исследования (род занятий).
2. Стаж работы в соответствующей области (обычно от 5 лет считается минимальным порогом).
3. Учёные публикации – количество и качество статей, монографий, патентов по теме.
4. Звание и степень – наличие учёных степеней (PhD, Doctor of Sciences), профессиональных сертификатов.
5. Участие в профильных проектах – опыт реализации аналогичных задач.

Субъективные критерии

1. Репутация среди коллег – оценка значимости специалиста в профессиональном сообществе.
2. Самооценка компетентности – результаты анкетирования, где эксперт указывает уровень своих знаний.
3. Оценка компетентности другими экспертами – метод «peer‑review», когда специалисты оценивают друг друга.
4. Мотивация участия – готовность вкладывать время и усилия в процесс оценки.

Основные методики отбора экспертов

Отбор может осуществляться различными способами, каждый из которых имеет свои преимущества и ограничения.

Документальный метод

Состоит в анализе доступных документов: резюме, публикаций, патентов, рекомендаций, официальных справок. Позволяет быстро сформировать предварительный список кандидатов.

Экспериментальный метод

Проводятся тестовые задания, кейс‑задания или небольшие интервью, цель которых – проверить практические навыки и способность к аналитическому мышлению.

Метод голосования

Сбор мнений потенциальных участников проекта (например, членов научного совета) о том, кого они считают наиболее компетентным. Часто используется в сочетании с документальным анализом.

Самооценка и оценка «по‑своему» (self‑assessment)

Эксперт заполняет анкету, в которой указывает уровень владения ключевыми компетенциями. Полученные данные корректируются независимыми оценками, чтобы снизить эффект самовнушения.

Комбинированные подходы

На практике чаще всего применяют комбинацию нескольких методов. Например, сначала используют документальный метод для составления «широкого» списка, затем проводят голосование и/или самооценку, а окончательный отбор подтверждают экспериментальными заданиями.

Этапы процедуры отбора

1. Определение целей и задач исследования – от этого зависит, какие компетенции нужны.
2. Формирование первоначального списка кандидатов – обычно в 2–3 раза превышает требуемое количество (от 5 – 25 человек).
3. Сбор и анализ документальных данных (резюме, публикации, результаты предыдущих экспертиз).
4. Оценка экспертов по выбранным критериям – применение шкалы (например, 1‑5) для каждого критерия.
5. Проведение дополнительного отбора – голосование, интервью, тестовые задания.
6. Формирование окончательной экспертной группы – обычно 7‑15 человек, чтобы обеспечить разнообразие мнений и управляемость процесса.
7. Регистрация и информирование экспертов – предоставление им полной информации о целях, сроках и условиях участия.

Специфика отбора в методе Дельфи

Метод Дельфи (Delphi) – один из самых популярных способов систематического сбора и анализа экспертных мнений. Его особенности накладывают дополнительные требования к отбору экспертов.

Анонимность

Эксперты не знают, кто ещё участвует в исследовании. Поэтому при отборе необходимо обеспечить, чтобы каждый участник имел достаточный уровень доверия к процессу и был готов работать в условиях отсутствия прямого контакта.

Многократность раундов

Поскольку Дельфи предполагает несколько итераций опросов, важно, чтобы эксперты были готовы к длительному участию (обычно 2‑4 раунда).

Требования к экспертной группе

• Разнообразие профессионального опыта (для получения широкого спектра точек зрения).
• Сбалансированность по уровню компетентности (не все эксперты должны быть «только» академиками; практики ценятся не менее).
• Оптимальное число участников – 10‑20 человек (по рекомендациям RAND Corporation и последующим исследованиям).

Примерный алгоритм отбора для Дельфи

1. Составление «широкого» списка (30‑40 человек) на основе публикаций, патентов и рекомендаций.
2. Применение объективных критериев (стаж, количество статей, степень).
3. Оценка репутации через голосование среди коллег (можно использовать онлайн‑платформу).
4. Отбор 12‑15 экспертов с наибольшим суммарным баллом.
5. Проведение вводного интервью для уточнения готовности к анонимному многократному опросу.

Проблемы и риски при отборе экспертов

• Субъективность отбора – личные предпочтения организатора могут влиять на состав группы.
• Систематические ошибки в формулировке вопросов – могут исказить полученные оценки.
• Риск ложного консенсуса – при слишком большом количестве раундов эксперты могут «сливаться» к среднему мнению, даже если оно не отражает действительности.
• Недостаточная репрезентативность – если в группе отсутствуют ключевые точки зрения, результаты будут однобокими.
• Неудовлетворительная мотивация – эксперты, не заинтересованные в теме, могут давать поверхностные ответы.

Лучшие практики и рекомендации

1. Соблюдать баланс между академическими и практическими специалистами.
2. Прозрачно фиксировать критерии и весовые коэффициенты, чтобы каждый участник понимал, как оценивается его компетентность.
3. Проводить предварительное тестирование (например, короткий кейс) для проверки реального уровня экспертизы.
4. Обеспечить анонимность (особенно в Дельфи) и конфиденциальность данных.
5. Использовать комбинированные методы – документальный + голосование + самооценка – для повышения надёжности.
6. Регулярно пересматривать состав группы в случае длительных проектов, заменяя тех, кто теряет интерес или перестаёт быть актуальным.

Пример практического применения

Компания «ИнноТех» планирует разработку стратегии развития искусственного интеллекта до 2030 года. Для построения прогноза была использована методика Дельфи. Процесс отбора экспертов выглядел так:

• Сформирован список из 45 кандидатов (учёные, руководители R&D‑подразделений, представители государственных органов).
• Оценены документы (учёные степени, количество публикаций в журналах Q1, патенты).
• Проведено онлайн‑голосование среди 12 членов советов директоров компании, в результате отобрали 14 экспертов.
• Эксперты прошли вводный вебинар, подтвердив готовность к анонимным опросам.
• В ходе трёх раундов Дельфи получен консенсусный прогноз роста инвестиций в ИИ: 12 %‑15 % в среднем в год.

Результаты были использованы при формировании бюджета и планов по найму специалистов.

Отбор экспертов – фундаментальная часть любого проекта, где требуется экспертная оценка. Правильный подход, основанный на чётко определённых критериях и сочетании нескольких методов (документального, голосования, самооценки, экспериментального), позволяет сформировать группу, способную обеспечить высокую достоверность выводов. Особое внимание необходимо уделять процессу в рамках метода Дельфи, где анонимность и многократность раундов усиливают требования к готовности и компетентности участников.

Для более детального изучения темы рекомендуется ознакомиться с работами Д. Янеляна, PhD, и материалами RAND Corporation, где описаны исторические и методологические аспекты Дельфи.