Экспертное оценивание и методы обработки экспертных оценок. Методы анализа оценок групп экспертов

Экспертное оценивание и методы обработки экспертных оценок. Методы анализа оценок групп экспертов.

 

Экспертное оценивание — процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).

Виды экспертных оценок

Существует две группы экспертных оценок:

• Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.

• Коллективные оценки основаны на использовании коллективного мнения экспертов.

Совместное мнение обладает большей точностью, чем индивидуальное мнение каждого из специалистов. Данный метод применяют для получения количественных оценок качественных характеристик и свойств. Например, оценка нескольких технических проектов по их степени соответствия заданному критерию, во время соревнования оценка судьями выступления фигуриста.

Известны следующие методы экспертных оценок:

• Метод ассоциаций. Основан на изучении схожего по свойствам объекта с другим объектом.

• Метод парных (бинарных) сравнений. Основан на сопоставлении экспертом альтернативных вариантов, из которых надо выбрать наиболее предпочтительные.

• Метод векторов предпочтений. Эксперт анализирует весь набор альтернативных вариантов и выбирает наиболее предпочтительные.

• Метод фокальных объектов. Основан на перенесении признаков случайно отобранных аналогов на исследуемый объект.

• Индивидуальный экспертный опрос. Опрос в форме интервью или в виде анализа экспертных оценок. Означает беседу заказчика с экспертом, в ходе которой заказчик ставит перед экспертом вопросы, ответы на которые значимы для достижения программных целей. Анализ экспертных оценок предполагает индивидуальное заполнение экспертом разработанного заказчиком формуляра, по результатам которого производится всесторонний анализ проблемной ситуации и выявляются возможные пути ее решения. Свои соображения эксперт выносит в виде отдельного документа.

• Метод средней точки. Формулируются два альтернативных варианта решения, один из которых менее предпочтителен. После этого эксперту необходимо подобрать третий альтернативный вариант, оценка которого расположена между значений первой и второй альтернативы.

 

Этапы экспертного оценивания

1. Постановка цели исследования.

2. Выбор формы исследования, определение бюджета проекта.

3. Подготовка информационных материалов, бланков анкет, модератора процедуры.

4. Подбор экспертов.

5. Проведение экспертизы.

6. Анализ результатов (обработка экспертных оценок).

7. Подготовка отчета с результатами экспертного оценивания.

Экспертное оценивание предполагает создание некого разума, обладающего большими способностями по сравнению с возможностями отдельного человека. Источником возможностей мультиразума является поиск слабых ассоциаций и предположений, основанных на опыте отдельного специалиста. Экспертный подход позволяет решать задачи, не поддающиеся решению обычным аналитическим способом, в том числе:

• Выбор лучшего варианта решения среди имеющихся.

• Прогнозирование развития процесса.

• Поиска возможного решения сложных задач.

Перед началом экспертного исследования необходимо четко определить его цель (проблему) и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил:

• Четкое определение условий, времени, внешних и внутренних ограничений проблемы. * Возможность ответа на вопрос с доступной человеческому опыту точностью.

• Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных оценок не рекомендуется задавать более пяти градаций.

• Эксперты оценивают возможные варианты, и не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

 

Выбор формы исследования, определение бюджета проекта

Существующие виды экспертных оценок можно классифицировать по признакам:

• По форме участия экспертов: очное, заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле.

• По количеству итераций (повторов процедуры для повышения точности) — одношаговые и итерационные.

• По решаемым задачам: генерирующие решения и оценивающие варианты.

• По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.

• По способу обработки мнений экспертов: непосредственные и аналитические.

• По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5 — 12 человек экспертов.

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах. После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают оплату экспертов, аренду помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы.

Подготовка информационных материалов

Эксперты перед вынесением суждения должны разносторонне рассмотреть представленную проблему. Для проведения этой процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы, бланки анкет, инвентарь. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждения, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки.

Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение.

 

 

 

Подбор экспертов

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. С этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

Проведение экспертизы

Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:

• Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).

• Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.

Анализ результатов (обработка экспертных оценок)

Основные этапы обработки экспертных оценок:

• определение компетенции экспертов;

• определение обобщенной оценки;

• построение обобщенной ранжировки объектов в случае нескольких оцениваемых объектов или альтернатив);

• определение зависимостей между ранжировками;

• оценка согласованности мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты);

• оценка ошибки исследования;

• построение модели свойств объекта (объектов) на основе ответов экспертов (для аналитической экспертизы);

• подготовка отчёта (с указанием цели исследования, состав экспертов, полученная оценка и анализа результатов).

Методы анализа экспертных оценок 

Применение различных М. а. э. о. дает возможность как получения обобщенных данных, позволяющих определить групповое мнение экспертов, так и получения новой информации, содержащейся в латентной форме в экспертных оценках. Выбор конкретного метода анализа зависит от выбора метода измерения экспертных оценок. Экспертное оценивание используется в решении плохо формализуемых проблем, которые условно можно разделить на два класса. К первому относятся проблемы, обеспеченные достаточным количеством информации. В оценивании проблем первого класса эксперт рассматривается как хороший измеритель, а групповое решение экспертов близко к истинному решению проблемы. Для анализа экспертных оценок проблем первого класса применяется математическая статистика, предоставляющая широкий набор методов. В большинстве прикладных исследований проблем первого класса экспертные оценки используются для выделения существенных факторов и их ранжирования либо для ранжирования самих объектов оценивания. Для анализа таких оценок используют методы ранговой корреляции, позволяющие определить степень согласованности мнений экспертов и методы построения обобщенной ранжировки, дающие возможность либо прямым путем формировать матрицу обобщенных ранжировок, либо путем перехода от матрицы ранжировок к матрице парных сравнений. Использование парных и множественных сравнений дает возможность применения техники проверки согласованности в духе дисперсионного анализа, описанного Дэвидом, и получения результирующего предпочтения в шкале порядка. Балльное оценивание имеет естественным завершением возможность получения различных вариантов средних экспертных оценок. В оценивании проблем второго класса экспертные оценки получаем либо в вербальной форме, либо в виде вероятностных оценок. В этом случае возникает необходимость предварительного анализа неоднородности экспертной группы, поскольку средние, центральные оценки могут утратить содержательный смысл, оказаться хуже индивидуальных или групповых оценок. Анализируется распределение экспертов в многомерном пространстве признаков. Каждый эксперт в этом пространстве может быть представлен точкой с координатами, соответствующими его оценкам признаков. Вербальные экспертные оценки исследуются традиционными методами анализа документов. Вероятностные экспертные оценки могут быть получены и обработаны методом анализа на проблемных сетях, позволяющего говорить на одном языке о проблемах как количественных, так и качественных, как хорошо, так и плохо структурируемых. Метод анализа на проблемных сетях дает возможность включения в исследование формальных моделей, что расширяет пути применения компьютерных средств. Использование этого средства анализа позволяет осуществить переход от сгенерированных условных экспертных оценок к безусловным. В ситуации формирования экспертных оценок при наличии априорной и апостериорной информации используется байесовский подход, позволяющий определить вероятности при обратном анализе, когда рассчитывается вероятность определенного исхода для раннего из двух зависимых событий при данном исходе второго события, что особенно важно в социологических исследованиях, когда мы диагностируем различные социальные изменения, не имея возможности точного указания их причин.