Методы экспертных оценок

Возможны три варианта:

A₁ >A₂ + A₃ + … + A_n

A₁ = A₂ + A₃ + … + A_n

A₁ < A₂ + A₃ + …+ A_n

Эксперт выбирает наиболее соответствующий, по его мнению, вариант и приводит в соответствие с ним оценку первого  события;

4) сравнивает значение первого  признака с суммой всех последующих  за вычетом самого последнего признака.

Приводит оценку первого признака в соответствие с выбранным из трех вариантов неравенством:

A₁ > A₂ + A₃ + … + A_n-1

A₁ = A₂ + A₃ + … + A_n-1

A₁ < A₂ + A₃ + … + A_n-1

5) процедура повторяется до сравнения  A₁ с A₂ + A_3.

После того как эксперт уточнил оценку первого признака в соответствии с выбранным им неравенством из трех возможных:

A₁ > A₂ + A₃

A₁ = A₂ + A₃

A₁ < A₂ + A₃

он переходит к уточнению  оценки второго признака A₂ по той же схеме, что и в случае первого, т.е. сравнивается оценка второго признака с суммой последующих.

Преимущество его состоит в  том, что эксперт в процессе оценивания признаков сам анализирует свои оценки. Вместо назначения коэффициентов  возникает творческий процесс создания этих коэффициентов.

Недостатки метода таковы:

1) сложность его; неподготовленный  эксперт будет с трудом справляться  с этой процедурой; вместо того, чтобы уточнять свои первоначальные  оценки, он будет путаться в  них;

2) громоздкость; на оценку одного  и того же набора признаков  он требует в четыре раза больше операций, чем метод простой ранжировки (другими словами, для одной и той же работы нужно в четыре раза больше экспертов).

Метод парных сравнений

Согласно ему все признаки попарно  сравниваются между собой. На основании  парных сравнений путем дальнейшей обработки находятся затем оценки каждого признака.

Чтобы эксперту было удобнее проводить  сравнения, признаки (A,B,C,…N) заносятся  в таблицу и по горизонтали  и по вертикали.

Эксперт заполняет клетки такой  таблицы. Сравнение признака самого с собой дает единицу. В первой клетке эксперт пишет единицу, во второй – результат сравнения  первого признака со вторым, в третьей  – результат сравнения первого  признака с третьим и т.д. Переходя ко второй строке, эксперт записывает в первой клетке результат сравнения второго признака с первым, во втором – единицу, в третьей – сравнение второго признака с третьим и т.д.

Половина таблицы, расположенная  выше диагонали, служит отражением нижней половины. Чтобы не вносить путаницу, не провоцировать эксперта вычислять одну половину таблицы по другой, чтобы уменьшить число операций, целесообразно заполнять только одну половину таблицы (выше или ниже диагонали). Таким образом, ответы экспертов будут представлены в виде следующей матрицы:

После ряда математических преобразований мы получаем оценки каждого признака А₁, А₂,, … ,А_n с точки зрения данного эксперта. Суммарные оценки признаков получаются путем идентичной обработки суммарной матрицы, каждый элемент которой есть сумма сравнений признаков, данных всеми экспертами.

Суммарная матрица имеет вид

m – число экспертов, оценивающих данный набор признаков;

- оценки соответственно 1, 2, …, j, …, m экспертов;

- суммарные оценки, данные всеми экспертами.

Определяя дисперсию суммарной  матрицы и сравнивая её с максимально  возможной дисперсией матрицы с  таким же числом элементов, можно  определить согласованность мнений экспертов. Чем ближе дисперсия  суммарной матрицы к максимально возможной дисперсии, тем выше согласованность мнений. Таким образом, метод парных сравнений позволяет провести строгий, статистически обоснованный анализ согласованности мнений экспертов, выявить, случайны или нет полученные оценки. Несомненно, процедура метода парных сравнений сложнее метода простой ранжировки, но проще метода последовательных сравнений.

Число экспертов, требуемое для  оценки определенной совокупности признаков  методом парных сравнений, в два  раза больше, чем при использовании  метода простой ранжировки, и в два раза меньше, чем при методе последовательных сравнений.

В настоящее время во многих методах  проведения экспертных оценок предлагается в качестве показателя компетентности эксперта коэффициент:

, (2.6)

где - коэффициент компетентности эксперта;

- коэффициент степени знакомства эксперта с обсуждаемой проблемой;

- коэффициент аргументированности.

Коэффициент степени знакомства с  направлением исследований определяется путем самооценки эксперта по десятибалльной шкале. Значения баллов для самооценки следующие:

0 - эксперт не знаком с вопросом;

1,2,3 - эксперт плохо знаком с  вопросом, но вопрос входит в  сферу его интересов;

4,5,6 - эксперт удовлетворительно  знаком с вопросом, не принимает  непосредственного участия в практическом решении вопроса;

7,8,9 – эксперт хорошо знаком  с вопросом, участвует в практическом  решении вопроса;

10 – вопрос входит в круг  узкой специализации эксперта.

Эксперту предлагается самому оценить  степень своего знакомства с вопросом и подчеркнуть соответствующий балл. Затем этот балл умножается на 0,1, и получаем коэффициент .

Коэффициент аргументированности  учитывает структуру аргументов, послуживших эксперту основанием для  определенной оценки. Коэффициент аргументированности предлагается определить в соответствии с таблицей 2.2 путем суммирования значений, отмеченных экспертом в клетках этой таблицы.

Определив коэффициент компетентности, умножают на него значение оценок экспертов.

Таблица 2.2 Значения коэффициента аргументированности 

 

3. Организация экспертного оценивания

Первым этапом организации работ  по применению экспертного оценивания является подготовка и издание руководящего документа, в котором формулируется цель работы и основные положения по ее выполнению. В этом документе должны быть отражены следующие вопросы: постановка задачи-эксперимента; цели эксперимента; обоснование необходимости эксперимента; сроки выполнения работ; задачи и состав группы управления; обязанности и права группы; финансовое и материальное обеспечение работ.

Для подготовки этого документа, а  также для руководства всей работой назначается руководитель экспертизы. На него возлагается формирование группы управления и ответственность за организацию ее работы.

После формирования группа управления осуществляет работу по подбору экспертной группы примерно в такой последовательности: уяснение решаемой проблемы; определение круга областей деятельности, связанных с проблемой; определение долевого состава экспертов по каждой области деятельности; определение количества экспертов в группе; составление предварительного списка экспертов с учетом их местонахождения; анализ качеств экспертов и уточнение списка экспертов в группе; получение согласия экспертов на участие в работе; составление окончательного списка экспертной группы.⁸

Параллельно с процессом формирования группы экспертов группа управления проводит разработку организации и  методики проведения опроса экспертов. При этом решаются следующие вопросы: место и время проведения опроса; количество и задачи туров опроса; форма проведения опроса; порядок фиксации и сбора результатов опроса; состав необходимых документов.

Следующим этапом работы группы управления является определение организации и методики обработки данных опроса. На данном этапе необходимо определить задачи и сроки обработки, процедуры и алгоритмы обработки, силы и средства для проведения обработки.

В процессе непосредственного проведения опроса экспертов и обработки его результатов группа управления осуществляет выполнение комплекса работ в соответствии с разработанным планом, корректируя его по мере необходимости по содержанию, срокам и обеспечению ресурсами.⁹

Вывод. На этом этапе производится анализ результатов экспертного оценивания; составление отчета; обсуждение и одобрение результатов; представление итогов работы на утверждение; ознакомление с результатами экспертизы организаций и лиц.

 

4. Подбор экспертов

Для реализации процедуры экспертного  оценивания необходимо сформировать группу экспертов. Общим требованием при формировании группы экспертов является эффективное решение проблемы экспертизы. Эффективность решения проблемы определяется характеристиками достоверности экспертизы и затрат на нее.

Достоверность экспертного оценивания может быть определена только на основе практического решения проблемы и анализа ее результатов. Использование  экспертов как раз и обусловлено тем, что отсутствуют какие-либо другие способы получения информации. Поэтому оценка достоверности экспертизы может осуществляться, как правило, только по апостериорным (послеопытным) данным. Если экспертиза проводится систематически с примерно одним и тем же составам экспертов, то появляется возможность накопления статистических данных по достоверности работы группы экспертов и получения устойчивой числовой оценки достоверности. Эту оценку можно использовать в качестве априорных данных о достоверности группы экспертов для последующих экспертиз.

Достоверность группового экспертного  оценивания зависит от общего числа  экспертов в группе, долевого состава  различных специалистов в группе, от характеристик экспертов.¹⁰

Определение характера зависимости  достоверности от перечисленных факторов является еще одной проблемой процедуры подбора экспертов.

Сложной проблемой процедуры подбора  является формирование системы характеристик  эксперта, существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения между людьми, влияющие на экспертизу. Важным требованием к характеристикам эксперта является измеримость этих характеристик.

Еще одной проблемой является организация  процедуры подбора экспертов, т.е. определение четкой последовательности работ, выполняемых в процессе подбора экспертов и необходимых ресурсов для их реализации.

Максимальное число экспертов  в группе проверяется на ограничение  по финансовым ресурсам. Определив  зависимость между достоверностью, количеством экспертов и расходами на оплату, группа управления представляет руководству эту информацию и формулирует возможные альтернативы решений. Такими альтернативами могут быть либо снижение достоверности результатов экспертного оценивания до уровня, обеспечивающего выполнение ограничения по расходам на оплату экспертов, либо сохранение исходного требования на достоверность экспертизы и увеличение расходов на оплату экспертов.

Следующим этапом работы по подбору  экспертов является составление предварительного списка экспертов. При составлении этого списка проводится анализ качеств экспертов. Кроме учета качеств экспертов, определяются их местонахождение и возможности участия выбранных специалистов в экспертизе. При оценке качеств учитывается мнение людей, хорошо знающих кандидатов в эксперты.

После составления списка экспертов  им направляются письма с приглашением участвовать в экспертизе. В письмах объясняется цель проведения экспертизы, ее сроки, порядок проведения, объем работы и условия вознаграждения. К письмам прилагаются анкеты данных эксперта и самооценки компетентности. Получив ответы экспертов, группа управления составляет окончательный список группы экспертов.¹¹

После составления и утверждения  списка экспертам посылается сообщение о включении их в состав экспертной группы. Если экспертное оценивание производится методом анкетирования, то одновременно с уведомлением о включении в экспертную группу всем экспертам высылается анкета с необходимыми инструкциями для их заполнения. Сообщением экспертам о включении их в экспертизу заканчивается работа по подбору экспертов.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Заключение 

Динамизм и новизна современных  народнохозяйственных задач, возможность  возникновения разнообразных факторов, влияющих на эффективность решений, требуют, чтобы эти решения принимались быстро и в то же время были хорошо обоснованы. Опыт, интуиция, чувство перспективы в сочетании с информацией помогают специалистам точнее выбирать наиболее важные цели и направления развития, находить наилучшие варианты решения сложных научно-технических и социально-экономических задач в условиях, когда нет информации о решении аналогичных проблем в прошлом.

Использование метода экспертных оценок помогает формализовать процедуры  сбора, обобщения и анализа мнений специалистов с целью преобразования их в форму, наиболее удобную для принятия обоснованного решения.

Но, следует заметить, что метод  экспертных оценок не может заменить ни административных, ни плановых решений, он лишь позволяет пополнить информацию, необходимую для подготовки и принятия таких решений. Широкое использование экспертных оценок правомерно только там, где для анализа будущего невозможно применить более точные методы.

Экспертные методы непрерывно развиваются  и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков.