Методы экспертных оценок

Группа участников мозговой атаки  этого этапа состоит из высококвалифицированных специалистов в обсуждаемой области, численность её достигает 20-25 человек, а продолжительность - 1,5 часа. Процесс деструирования продолжается до тех пор, пока каждая из систематизированных идей перечня не подвергнется критике. Высказанные критические замечания и контридеи записываются на магнитофон.

Шестой этап - оценка критических замечаний и составление списка практически применимых идей. Реализацию этапа осуществляет группа анализа проблемной ситуации:

1. Составляется перечень всех критических замечаний, полученных на этапе деструирования. При необходимости критические замечания уточняются, отбрасываются дублирующие.

2. Составляется сводная таблица  этапов систематизации и деструирования  идей, а также список показателей практической применимости идей (эти показатели в каждом конкретном случае специфичны и зависят от конкретной проблемной ситуации). Первая графа таблицы - результаты этапа систематизации идей; вторая - критические замечания, опровергающие идеи; третья – показатели практической применимости идей; четвертая - контридеи, высказанные на этапе деструирования.

3. Оценивается каждое критическое  замечание и контридея:

а) вычеркивается из таблицы, если опровергается хотя бы одним показателем  практической применимости;

б) не вычеркивается, если оно не опровергается  ни одним показателем.

4. Составляется окончательный список  идей; переносятся в список только  те идеи, которые не опровергнуты  критическими замечаниями и остались  в таблице, а также контридеи.

Метод коллективной генерации идей апробирован на практике и позволяет находить групповое решение при определении возможных вариантов развития объекта прогнозирования, исключая путь компромиссов, когда единое мнение нельзя считать результатом беспристрастного анализа проблемы.³

Дельфийский метод. В последние два десятилетия созданы отдельные методики, позволяющие в определенной мере организовать статистическую обработку мнений экспертов-специалистов и достигнуть более или менее согласованного их мнения. Метод «Дельфи» - один из наиболее распространенных методов экспертной оценки будущего, т.е. экспертного прогнозирования. Этот метод разработан американской исследовательской корпорацией РЭНД и служит для определения и оценки вероятности наступления тех или иных событий.

Метод «Дельфи» построен на следующем  принципе: в неточных науках мнения экспертов и субъективные суждения в силу необходимости должны заменить точные законы причинности, отражаемые естественными науками.

Метод «Дельфи» позволяет обобщать мнения отдельных экспертов в согласованное групповое мнение. Ему присущи все недостатки прогнозов, построенных на основе экспертных оценок. Однако проводимые корпорацией РЭНД работы по совершенствованию этой системы значительно повысили гибкость, быстроту и точность прогнозирования.

Метод «Дельфи» характеризуется тремя  особенностями, которые отличают его  от обычных методов группового взаимодействия экспертов. К таким особенностям относятся: а) анонимность экспертов; б) использование результатов предыдущего тура опроса; в) статистическая характеристика группового ответа.

Анонимность заключается в том, что в ходе проведения процедуры экспертной оценки прогнозируемого явления, объекта участники экспертной группы неизвестны друг другу. При этом взаимодействие членов группы при заполнении анкет, полностью устраняется. В результате такой постановки автор ответа может изменить свое мнение без публичного объявления об этом.

Использование результатов предыдущего  тура опроса заключается в следующем: поскольку групповое взаимодействие осуществляется непосредственно с помощью ответа на анкету, специалист или организация, проводящие исследования по методу «Дельфи», извлекает из анкет только ту информацию, которая относится к данной проблеме. Специалист-прогнозист учитывает мнение экспертов «за» и «против» по каждой точке зрения. Основной результат функционирования этой системы состоит в том, чтобы предотвратить принятие группой своих собственных целей и задач. Эта система дает возможность группе специалистов концентрировать свои усилия на первоначальных задачах, а не предполагать каждый раз что-то новое.

Статистическая характеристика группового ответа заключается в том, что  группа специалистов составляет прогноз, содержащий точку зрения только большинства  экспертом, т.е. такую точку зрения, с которой могло бы согласиться большинство группы. Однако вряд ли может существовать какой-либо показатель степени различия мнений, которые могли существовать у членов группы. Вместо этого в методе «Дельфи» используются статистические характеристики ответа, который включает мнение всей группы. Каждый ответ внутри группы учитывается при построении медианы, а величина разброса ответов характеризуется величиной интервала между квартилями. Иными словами, групповой ответ может быть представлен в виде медианы и двух квартилей, т.е. в виде такого числа, оценки которого одной половиной членов группы были больше этого числа, а другой половиной - меньше. Метод «Дельфи» дает возможность эффективно взаимодействовать членам жюри, хотя результаты этого взаимодействия и контролируются руководителем группы путем суммирования аргументов. Члены жюри изменяют свои оценки именно тогда, когда убедительны доводы их коллег, а противном случае они упорно придерживаются своих противоположных точек зрения.

Метод «Дельфи» осуществим и эффективен при получении преимуществ от участия группы в подготовке прогноза; в то же время этот метод сводит до минимума или устраняет большинство трудностей, связанных с работой комиссии, хотя он может потребовать больше времени, чем комиссия с личным общением членов, особенно если опрос производится по почте.⁴

В развитии метода «Дельфи» применяется перекрестная коррекция. Будущее событие представляется как огромное множество связанных и переходящих друг в друга путей развития.

Представив прогноз  научно-технических сдвигов как  Д₁, Д₂, …, Д_n, а соответствующие им вероятности как Р₁, Р₂, …, Р_n и полагая Р₁=100% , находят изменения значений Р₂, …, Р_i, …, Р_n.

При введении перекрестной корреляции значения каждого события за счет введенных определенных связей будут изменяться либо в положительную, либо в отрицательную сторону, корректируя тем самым вероятности рассматриваемых событий. С целью будущего соответствия модели реальным условиям в модель могут быть введены элементы случайности.

Сущность методов  экспертных оценок для разработки прогнозов состоит в определении согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным ранее отдельными специалистами, а также в оценке аспектов развития объекта, которая не может быть определена другими методами (например, аналитическим расчетом, экспериментом и т.д.).⁵

Содержание методов  экспертных оценок заключается в следующем

I. Создание групп.  Для организации проведения экспертных  оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данной отрасли. Количество экспертов, привлекаемых для разработки прогноза, может колебаться от 10 до 150 человек, в зависимости от сложности объекта.

II. Формулирование  глобальной цели системы. Перед  тем, как организовать опрос  экспертов, необходимо уточнить основные направления развития объекта, а также составить матрицу, отражающую генеральную цель, подцели и средства их достижения. При этом в ходе предварительного анализа совместно с группой специалистов определяются наиболее важные цели и подцели для решения поставленной задачи. Под средствами достижения цели понимаются направления научных исследований и разработок, результаты которых могут быть использованы для достижения цели. При этом направления научных исследований и разработок не должны пересекаться друг с другом.

III. Разработка  анкеты. Заключается в разработке вопросов, которые будут предложены экспертам. Форма вопроса может быть разработана в виде таблиц, но содержание их должно определяться спецификой прогнозируемого объекта или отрасли. При этом вопросы должны быть составлены по определенной структурно-иерархической схеме, т.е. от широких вопросов к узким, от сложных к простым.

При проведении опроса экспертов необходимо обеспечить однозначность понимания отдельных вопросов, а также независимость суждений экспертов.

IV. Расчёт экспертных оценок. Необходимо  провести обработку материалов  экспертных оценок, которые характеризуют обобщенное мнение и степень согласованности индивидуальных оценок экспертов. Обработка данных оценок экспертов служит исходным материалом для синтеза прогнозных гипотез и вариантов развития отрасли.⁶

Окончательная количественная оценка определяется с помощью четырех  основных методов экспертных оценок и множества их разновидностей:

1)метод простой ранжировки (или  метод предпочтения);

2)метод задания весовых коэффициентов;

3)метод парных сравнений;

4)метод последовательных сравнений.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения. Цифрой один обозначается наиболее важный признак, цифрой два – следующий за ним по важности и т.д. полученные данные сводятся в следующую таблицу.

Таблица 2.1 Экспертные оценки признаков  (направлений исследований)

- порядок предпочтения данного  признака перед другими.

Затем с помощью методов  математической статистики получают обобщенное мнение экспертов. Определяется средний ранг, среднее статистическое значение S_j j-го признака:

, (2.1)

где m_kj - количество экспертов, оценивающих j-й признак (m_k  m);

i - номер эксперта; i = 1,…,m;

j - номер признака, j = 1,2,…,n.

Определяется средний ранг каждого  признака. Чем меньше величина S_j, тем больше важность этого признака.

Для того чтобы можно было сказать, случайно ли распределение рангов или  имеется согласованность в мнениях  экспертов, производится вычисление коэффициента конкордации  , введенного М. Кендаллом.

Определяется средний ранг совокупности признаков:

,(2.2)

Вычисляется отклонение d_j среднего ранга j-го признака от среднего ранга совокупности :

,(2.3)

Определяется число одинаковых рангов, назначенных экспертами j-му признаку – t_q.

Определяется количество групп  одинаковых рангов – Q. Определяется коэффициент  конкордации по формуле:

,(2.4)

где

,(2.5)

Коэффициент  может принимать значения в пределах от 0 до 1. При полной согласованности мнений экспертов коэффициент конкордации равен единице при полном разногласии – нулю. Наиболее реальным является случай частичной согласованности мнений экспертов.

По мере увеличения согласованности мнений экспертов коэффициент конкордации возрастает и в пределе стремится к единице. Однако даже если он равен или близок к нулю, не всегда имеет место полное разногласие. Среди экспертов могут быть группы с хорошо согласованными мнениями, но мнения эти – противоположны и в общей массе нейтрализуют друг друга. В таком случае следует проделать кластерный или комбинированный анализ для выявления этих групп.⁷

Достоинства метода простой ранжировки:

1) сравнительная простота процедуры  получения оценок;

2) меньшее число экспертов по  сравнению с другими методами  при оценке одного и того  же набора признаков.

Недостаток же его в том, что:

1) заведомо считают распределение  оценок равномерным;

2) уменьшение важности признаков  предполагается также равномерным, в то время как на практике этого не бывает.

Метод задания весовых коэффициентов заключается в присвоении всем признакам весовых коэффициентов. Весовые коэффициенты могут быть проставлены двумя способами:

1) всем признакам назначают весовые  коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);

2) наиболее важному из всех  признаков придают весовой коэффициент,  равный какому-то фиксированному  числу, а всем остальным –  коэффициенты, равные долям этого числа.

Обобщенное мнение экспертов также  получаем с помощью методов математической статистики по формулам (2.1 – 2.5).

Метод последовательных сравнений заключается в следующем:

1) эксперт упорядочивает все  признаки в порядке уменьшения  их значимости: А₁>A₂>…>A_n ;

2) присваивает первому признаку  значение, равное единице: A₁=1, остальным же признакам назначает весовые коэффициенты в долях единицы;

3) сравнивает значение первого  признака с суммой всех последующих.