Экспертные оценки

Экспертные  оценки

Экспертные оценки (англ. expert judgement) — количественные или порядковые оценки процессов или явлений, не поддающиеся непосредственному измерению [1]. Экспертные оценки нельзя считать абсолютно объективными, поскольку они основываются на суждениях специалистов. Именно для этого разрабатываются научные методы обработки индивидуальных экспертных оценок. При применении таких методов формируются группы экспертов, продумываются формы вопросов и ответов. Вследствие этого ответы начинают носить более объективный характер. Методы приспособлены к обобщению результатов с помощью компьютера. В настоящее время разработка таких методов в самостоятельную дисциплину - теорию и практику экспертных оценок.

Экспертное  оценивание — процедура получения  оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора) [2].

Этапы экспертного оценивания:

1. Постановка цели исследования. В самом начале экспертного оценивания необходимо четко сформулировать цель (проблему), а также соответствующий вопрос для экспертов.
2. Выбор формы исследования. Каждому методу экспертного оценивания соответствуют свои сроки проведения, форма участия экспертов, количество экспертов, типы ответов, способы обработки мнений экспертов и т.п.
3. Подготовка информационных материалов. Для проведения оценивания важно подготовить информационные материалы, которые как можно шире охватят представленную проблему.
4. Подбор экспертов. При подборе экспертов важно учитывать их опыт в области, соответствующей решаемой проблеме, и отсутствие личной заинтересованности т.к это может стать препятствием к получению объективного решения.
5. Проведение экспертизы.
6. Статистический анализ результатов. После получения ответов экспертов нужно оценить согласованность их мнений и оценить ошибку исследования. Результаты экспертного оценивания оформляются в виде отчёта. В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов.
7. Подготовка отчета с результатами экспертного оценивания.

 

 

Методы  экспертных оценок

Методы экспертных оценок – это методы организации работы специалистов (экспертов) и обработки их мнений. Эти мнения, как правило, выражены в количественной или качественной форме.

Существует  две группы экспертных оценок: индивидуальные и коллективные. Индивидуальной является оценка, основанная на мнениях отдельных экспертов, которые были высказаны независимо друг от друга. Коллективные оценки, в свою очередь, основаны на использовании коллективного мнения экспертов.

Существует  множество методов получения экспертных оценок. В них эксперты могут работать как отдельно (независимо друг от друга), так и коллективно. При коллективной работе эксперты вместе подготавливают материалы для лиц принимающих решения, обсуждают проблему, а также, если это необходимо, обучают друг друга. Число экспертов в различных методах также может отличаться. В одних оно фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома". Не меньше существует и методов обработки ответов экспертов. Многие из них основаны на современных методах прикладной статистики, обрабатываются математически и компьютеризированы.

 

 

 

 

 

 

 

 

Метод анализа иерархий

Метод анализа иерархий (МАИ) — математический инструмент системного подхода к сложным проблемам принятия решений. Метод анализа иерархий позволяет найти наилучшую альтернативу, вникнуть в суть проблемы и найти ее решение. Данный метод разработал американский математик, профессор Пенсильванского университета Томас Саати (Дата рождения: 18.07.1926). Он написал о нем две книги: «Аналитическое планирование. Организация систем» и «Принятие решений. Метод анализа иерархий», разработал программные продукты и на протяжении двадцати лет проводит симпозиумы ISAHP (англ. International Symposium on Analytic Hierarchy Process). На основе метода анализа иерархий мы можем рассмотреть проблему, как с математической, так и с психологической точки зрения. Метод анализа иерархий позволяет понятным образом структурировать сложную проблему принятия решений в виде иерархии, сравнить и выполнить количественную оценку альтернативных вариантов решения. Анализ проблемы принятия решений начинается с построения иерархической структуры, в которой мы указываем цель, критерии, альтернативы и другие факторы, влияющие на выбор. Данная структура должна отражать понимание проблемы лицом, принимающим решение. Рассматривая каждый элемент иерархии мы должны учитывать материальные и нематериальные факторы, измеряемые количественные параметры и качественные характеристики, объективные данные и субъективные экспертные оценки. Метод анализа иерархий позволяет аргументировать наш выбор на интуитивном уровне. На следующем этапе, при помощи процедуры парных сравнений, определяются приоритеты. Отличительной особенностью метода анализа иерархий является то, что приоритеты безразмерны. Это позволяет нам сравнивать факторы. На заключительном этапе анализа выполняется линейная свертка приоритетов на иерархии, в результате которой вычисляются приоритеты альтернативных решений относительно главной цели. Лучшей считается альтернатива с максимальным значением приоритета.

 Метод анализа иерархий содержит процедуру синтеза приоритетов, которые вычисляются на основе субъективных суждений экспертов. Число суждений может измеряться дюжинами или даже сотнями. Математические можно выполнять вручную или на калькуляторе, но для ввода и обработки суждений существует программное обеспечение (ПО). Электронные таблицы – самый простой способ компьютерной поддержки, самое развитое программное обеспечение предусматривает применение коллективного выбора.

Порядок применения метода анализа иерархий:

• Построение качественной модели проблемы в виде иерархии, включающей цель, альтернативные варианты достижения цели и критерии для оценки качества альтернатив.
• Определение приоритетов всех элементов иерархии с использованием метода парных сравнений.
• Синтез глобальных приоритетов альтернатив путем линейной свертки приоритетов элементов на иерархии.
• Проверка суждений на согласованность.
• Принятие решения на основе полученных результатов.

Построение  иерархической структуры помогает всесторонне проанализировать проблему и лучше понять поставленную задачу. Иерархическая структура объединяет в себе цель выбора, критерии, альтернативы и факторы, влияющие на принятие решения.

Иерархическая структура — это графическое  представление проблемы в виде перевернутого  дерева, где каждый элемент, за исключением самого верхнего, зависит от выше расположенных элементов. Такой элемент может быть один или их может быть несколько. В качестве примера такой иерархической структуры можно привести распределение полномочий между сотрудниками в организации.

Для понимания  всей сложности исследуемой проблемы необходимо разложить ее на составные  части, а затем разбить на составные  части получившиеся элементы и т.д. На каждом шаге важно фокусировать внимание на понимании текущего элемента, временно абстрагируясь от всех прочих компонентов.

Во время решения сложных  проблем иерархия используется как  инструмент для восприятия и обработки  больших объемов информации. По мере построения иерархии мы начинаем более  полно понимать проблему.

Иерархические структуры, используемые в методе анализа иерархий, представляют собой инструмент для качественного моделирования сложных проблем. На вершине иерархии указывают главную цель, на нижнем уровне расположены альтернативы. Они представляют собой множество вариантов достижения цели. На промежуточных уровнях представлены критерии или факторы, которые связывают цель с альтернативами. Для описания иерархической структуры существуют специальные термины. Каждый уровень состоит из узлов. Элементы, исходящие из узла, принято называть его детьми или дочерними элементами. Элементы, из которых исходит узел, называются родительскими. Группами сравнения являются группы элементов с одним родительским элементом. Используя данные термины можно описать диаграмму. Три критерия – это дети цели. Цель является родительским элементом для любого из критериев. Альтернативы – дочерние элементы для любого из критериев. На диаграмме выделены две группы сравнения: группа из трех критериев и группа из двух альтернатив. Вид любой иерархии зависит от суждений, знаний, мнений и желаний участников процесса. Метод анализа иерархий часто включает в себя схемы и объяснения представленных иерархий. При выполнении всех шагов не исключается возможность изменения структуры иерархии. В нее могут быть включены новые критерии и альтернативы, а также критерии и альтернативы, которые раньше не посчитали важными.

После построения иерархии необходимо определить приоритеты всех узлов структуры. Для этого со всех участников собирают информацию и затем обрабатывают ее математически.

Приоритеты  – безразмерные величины, которые  связаны с узлами иерархии. Они  представляют собой относительные  веса элементов в каждой группе. Приоритеты принимают значения от нуля до единицы. Чем большее значение принимает приоритет, тем более значимым является соответствующий ему элемент. Сумма приоритетов элементов, подчиненных одному элементу выше лежащего уровня иерархии, равна единице. Приоритет цели по определению равен 1.0.

 

 

На рисунке  представлена иерархия, в которой  приоритеты элементов расставлены по умолчанию, поскольку они не устанавливались лицом принимающим решение. Все критерии имеют одинаковую важность с точки зрения цели, в свою очередь, все альтернативы равны по критериям (неразличимы). Этот пример является наиболее простым, но на практике приоритеты среди альтернатив и среди критериев могут не совпадать. В таких случаях вычисляются значения глобальных приоритетов путем умножения локального приоритета каждой альтернативы на приоритет каждого критерия и суммирования по всем критериям.

Рассмотрим  все это на примере задачи, в  которой необходимо выбрать руководителя. Три кандидата оцениваются по четырем критериям: возраст, опыт, образование  и личные качества с приоритетами 0.300, 0.400,0.200 и 0.100 соответственно.

Значения локальных приоритетов вычисляются на основе парных сравнений элементов каждого уровня относительно связанных с ними элементами вышерасположенного уровня, и приступаем к вычислению значений глобальных приоритетов:

Сергей:

Дмитрий:

Андрей:

В данном примере наилучшим кандидатом на должность руководителя является Сергей, поскольку имеет максимальное значение глобального приоритета.

 

 

 

Метод Дельфи

Метод Дельфи - многоэтапный метод, предусматривающий  первоначальное изолированное вынесение  экспертами своих суждений и дальнейшую многократную их корректировку на базе ознакомления каждого эксперта с  суждениями других экспертов до тех  пор, пока величина разброса оценок не будет находиться в рамках заранее установленного желаемого интервала варьирования оценок.

Метод Дельфи назван в честь дельфийского оракула  в Древней Греции. Его автором  является математик Олаф Хельмер. Метод впервые был описан в «Докладе об изучении долгосрочного прогнозирования» американской корпорации «RAND» в 1964 г.

Оценки, полученные при помощи данного метода, носят статичный и одноразовый характер, поэтому необходимо повторно обращаться к экспертам при составлении прогноза на последующие периоды. Метод принято считать достаточно точным при прогнозировании на период от 1-3 лет и более. В зависимости от цели прогноза к участию в получении экспертных оценок могут привлекаться от 10 до 150 экспертов.

К недостаткам  этого метода можно отнести чрезмерную субъективность оценок, ведь на принятие решений могут повлиять стереотипы.

Метод Дельфи наиболее часто используется в технологическом  прогнозировании, данные которого используются в планировании производства и сбыта  продукции, поскольку является наиболее формальным из всех методов экспертного прогнозирования. Это групповой метод, при котором проводится индивидуальный опрос группы экспертов относительно их предположений о будущих событиях в различных областях, где ожидаются новые открытия или усовершенствования.

Метод Дельфи можно охарактеризовать следующими чертами:

1. анонимность мнений экспертов;
2. регулируемая обработка, связь, которая осуществляется аналитической группой за ряд туров опроса, причем результаты каждого тура сообщаются экспертам;
3. групповым ответом, который получается с помощью статистических методов и отображает обобщенное мнение участников экспертизы.

 

 

Метод проводится в несколько этапов:

1. Формирование рабочей группы;
2. Формирование экспертной группы;
3. Формулирование вопросов;
4. Проведение экспертизы;
5. Подведение итогов опроса.

Главной задачей рабочей группы является организация процедуры экспертного опроса. Далее начинают формировать группу экспертов, которая должна включать 10-15 специалистов в данной области. Компетентность экспертов определяется путем анкетирования, анализом уровня реферирования (количества ссылок на работы данного специалиста), использованием листов самооценки. Опрос проводится с помощью специальных анкет анонимно, т.е. личные контакты экспертов и коллективные обсуждения исключаются. Экспертам выдаются опросники, в которых формулировки вопросов должны быть четкими и однозначно трактуемыми, предполагать однозначные ответы. Такие опросы повторяются несколько раз. После первого опроса экспертная группа составляет второй, улучшенный опросник и так далее. Эти действия повторяются до тех пор, пока эксперты не придут к единому мнению. Далее оформляются результаты, делаются окончательные выводы и рекомендации.