Методы экспертных оценок

 

2.2. Основные математические задачи анализа экспертных оценок

 

Ясно, что при анализе  мнений экспертов можно применять  самые разнообразные статистические методы, описывать их – значит описывать практически всю прикладную статистику. Тем не менее можно выделить основные широко используемые в настоящее время методы математической обработки экспертных оценок - это проверка согласованности мнений экспертов (или классификация экспертов, если нет согласованности) и усреднение мнений экспертов внутри согласованной группы. 

Поскольку ответы экспертов  во многих процедурах экспертного опроса – не числа, а такие объекты нечисловой природы, как градации качественных признаков, ранжировки, разбиения, результаты парных сравнений, нечеткие предпочтения и т.д., то для их анализа оказываются полезными методы статистики объектов нечисловой природы.

Почему ответы экспертов часто носят нечисловой характер? Наиболее общий ответ состоит в том, что люди не мыслят числами. В мышлении человека используются образы, слова, но не числа. Поэтому требовать от эксперта ответ в форме чисел – значит насиловать его разум. Даже в экономике предприниматели, принимая решения, лишь частично опираются на численные расчеты. Это видно из условного (т.е. определяемого произвольно принятыми соглашениями, обычно оформленными в виде инструкций) характера балансовой прибыли, амортизационных отчислений и других экономических показателей. Поэтому фраза типа «фирма стремится к максимизации прибыли» не может иметь строго определенного смысла. Достаточно спросить: «Максимизация прибыли – за какой период?» И сразу станет ясно, что степень оптимальности принимаемых решений зависит от горизонта планирования.   

Эксперт может сравнить два  объекта, сказать, какой из двух лучше (метод парных сравнений), дать им оценки типа "хороший", "приемлемый", "плохой", упорядочить несколько объектов по привлекательности, но обычно не может ответить, во сколько раз или на сколько один объект лучше другого. Другими словами, ответы эксперта обычно измерены в порядковой шкале, или являются ранжировками, результатами парных сравнений и другими объектами нечисловой природы, но не числами. Распространенное заблуждение состоит в том, что ответы экспертов стараются рассматривать как числа, занимаются "оцифровкой" их мнений, приписывая этим мнениям численные значения - баллы, которые потом обрабатывают с помощью методов прикладной статистики как результаты обычных физико-технических измерений. В случае произвольности "оцифровки" выводы, полученные в результате обработки данных, могут не иметь отношения к реальности. В связи с "оцифровкой" уместно вспомнить классическую притчу о человеке, который ищет потерянные ключи под фонарем, хотя потерял их в кустах. На вопрос, почему он так делает, отвечает: "Под фонарем светлее". Это, конечно, верно. Но, к сожалению, весьма малы шансы найти потерянные ключи под фонарем. Так и с "оцифровкой" нечисловых данных. Она дает возможность имитации научной деятельности, но не возможность найти истину.

 

2.3. Проверка согласованности мнений экспертов и классификация экспертных мнений

 

Ясно, что мнения разных экспертов  различаются. Важно понять, насколько велико это различие. Если мало - усреднение мнений экспертов позволит выделить то общее, что есть у всех экспертов, отбросив случайные отклонения в ту или иную сторону. Если велико - усреднение является чисто формальной процедурой. Так, если представить себе, что ответы экспертов равномерно покрывают поверхность бублика, то формальное усреднение укажет на центр дырки от бублика, а такого мнения не придерживается ни один эксперт. Из сказанного ясна важность проблемы проверки согласованности мнений экспертов.  

Разработан ряд методов  такой проверки. Статистические методы проверки согласованности зависят от математической природы ответов экспертов. Соответствующие статистические теории весьма трудны, если эти ответы – ранжировки или разбиения, и достаточно просты, если ответы - результаты независимых парных сравнений. Отсюда вытекает рекомендация по организации экспертного опроса: не старайтесь сразу получить от эксперта ранжировку или разбиение, ему трудно это сделать, да и имеющиеся математические методы не позволяют далеко продвинуться в анализе подобных данных. Например, рекомендуют проверять согласованность ранжировок с помощью коэффициента ранговой конкордации Кендалла-Смита. Но давайте вспомним, какая статистическая модель при этом используется. Проверяется нулевая гипотеза, согласно которой ранжировки независимы и равномерно распределены на множестве всех ранжировок. Если эта гипотеза принимается, то конечно, ни о какой согласованности мнений экспертов говорить нельзя. А если отклоняется? Тоже нельзя. Например, может быть два (или больше) центра, около которых группируются ответы экспертов. Нулевая гипотеза отклоняется. Но разве можно говорить о согласованности?

Эксперту гораздо легче  на каждом шагу сравнивать только два  объекта. Пусть он занимается парными  сравнениями. Непараметрическая теория парных сравнений (теория люсианов) позволяет решать более сложные задачи, чем статистика ранжировок или разбиений. В частности, вместо гипотезы равномерного распределения можно рассматривать гипотезу однородности, т.е. вместо совпадения всех распределений с одним фиксированным (равномерным) можно проверять лишь совпадение распределений мнений экспертов между собой, что естественно трактовать как согласованность их мнений. Таким образом, удается избавиться от неестественного предположения равномерности.

При отсутствии согласованности  экспертов естественно разбить  их на группы сходных по мнению. Это  можно сделать различными методами статистики объектов нечисловой природы, относящимися к кластер-анализу, предварительно введя метрику в пространство мнений экспертов. Идея американского математика Джона Кемени об аксиоматическом введении метрик (см. ниже) нашла многочисленных продолжателей. Однако методы кластер-анализа обычно являются эвристическими. В частности, невозможно с позиций статистической теории обосновать "законность" объединения двух кластеров в один. Имеется важное исключение - для независимых парных сравнений (люсианов) разработаны методы, позволяющие проверять возможность объединения кластеров как статистическую гипотезу. Это - еще один аргумент за то, чтобы рассматривать теорию люсианов как ядро математических методов экспертных оценок.

 

2.4. Нахождение итогового мнения комиссии экспертов

 

Пусть мнения комиссии экспертов  или какой-то ее части признаны согласованными. Каково же итоговое (среднее, общее) мнение комиссии? Согласно идее Джона Кемени следует найти среднее мнение как решение оптимизационной задачи. А именно, надо минимизировать суммарное расстояние от кандидата в средние до мнений экспертов. Найденное таким способом среднее мнение называют "медианой Кемени".

Математическая сложность  состоит в том, что мнения экспертов  лежат в некотором пространстве объектов нечисловой природы. Общая  теория подобного усреднения построена в ряде работ, в частности, показано, что в силу обобщения закона больших чисел среднее мнение при увеличении числа экспертов (чьи мнения независимы и одинаково распределены) приближается к некоторому пределу, который естественно назвать математическим ожиданием (случайного элемента, имеющего то же распределение, что и ответы экспертов).

В конкретных пространствах  нечисловых мнений экспертов вычисление медианы Кемени может быть достаточно сложным делом. Кроме свойств пространства, велика роль конкретных метрик. Так, в пространстве ранжировок при использовании метрики, связанной с коэффициентом ранговой корреляции Кендалла, необходимо проводить достаточно сложные расчеты, в то время как применение показателя различия на основе коэффициента ранговой корреляции Спирмена приводит к упорядочению по средним рангам.

Медиана Кемени и  законы больших чисел. 

Законы больших чисел  показывают, во-первых, что медиана  Кемени обладает устойчивостью по отношению к незначительному изменению состава экспертной комиссии; во-вторых, при увеличении числа экспертов она приближается к некоторому пределу. Его естественно рассматривать какистинное мнение экспертов, от которого каждый из них несколько отклонялся по случайным причинам. 

Рассматриваемый здесь закон  больших чисел является обобщением известного в статистике "классического" закона больших чисел. Он основан на иной математической базе - теории оптимизации, в то время как "классический" закон больших чисел использует суммирование. Упорядочения и другие бинарные отношения нельзя складывать, поэтому приходится применять иную математику. 

Вычисление медианы Кемени – задача целочисленного программирования. В частности, для ее нахождения используется различные алгоритмы дискретной математики, в частности, основанные на методе ветвей и границ. Применяют также алгоритмы, основанные на идее случайного поиска, поскольку для каждого бинарного отношения нетрудно найти множество его соседей.

 

 

 

 

Заключение

 

На основании проделанной  работы, можно сделать вывод о  том, что динамизм и новизна современных народнохозяйственных задач, возможность возникновения разнообразных факторов, влияющих на эффективность решений, требуют, чтобы эти решения принимались быстро и в то же время были хорошо обоснованы. Опыт, интуиция, чувство перспективы в сочетании с информацией помогают специалистам точнее выбирать наиболее важные цели и направления развития, находить наилучшие варианты решения сложных научно-технических и социально-экономических задач в условиях, когда нет информации о решении аналогичных проблем в прошлом.

Использование метода экспертных оценок помогает формализовать процедуры сбора, обобщения и анализа мнений специалистов с целью преобразования их в форму, наиболее удобную для принятия обоснованного решения. 
Но, следует заметить, что метод экспертных оценок не может заменить ни административных, ни плановых решений, он лишь позволяет пополнить информацию, необходимую для подготовки и принятия таких решений. Широкое использование экспертных оценок правомерно только там, где для анализа будущего невозможно применить более точные методы.

Экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков. 
Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок.

Однако уже и сегодня  экспертные оценки в сочетании с  другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.

Таким образом, метод экспертных оценок разработки управленческих решений  является неотъемлемой частью успешной деятельности организации в целом  и в частности при разработке эффективных управленческих решений  организации. 
 

Список литературы

 

1. Балдин В.М., Воробьев К.С., Уткин В.А. Управленческие решения: Учеб.пособие для вузов.- М.: Изд-во ЮНИТИ – ДАНА, 2003. – 516с.
2. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 2005. 263 с. 
3. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки в принятии плановых решений. М.: Экономика, 2006. 287 с.
4. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. М.: Экономика, 2006. 133 с.
5. Злобина Н.В. Управленческие решения : учебное пособие Н.В. Злобина . - Тамбов : Изд-во Тамб. гос. техн. ун-та,2007. - 80 с.
6. Китаев Н.Н. Групповые экспертные оценки. - М.: Знание, 2005. - 64 с.
7. Литвак Б. Г. Разработка управленческого решения. – М.: Издательство «Дело», 2004 г. – 392 с.
8. Литвак Б. Г. Экспертные оценки и принятие решений.- М.: Патент, 1996. – 271 с.
9. Литвак Б.Г., Экспертные технологии в управлении, М., «Дело», 2004 г., с. 456
10. Мутанов  Г.М., Куликов В.П., Куликова В.П. Информационная поддержка принятия инвестиционного решения в условиях неопределенности // Астана, 2003, 380с
11. Орлов А.И. Допустимые средние в некоторых задачах экспертных оценок и агрегирования показателей качества. - В сб."Многомерный статистический анализ в социально-экономических исследованиях", М.: Наука, 2004, с.388-393.
12. Орлов А.И. Теория принятия решений.  М.: Экзамен, 2005. — 656 с. 
13. Панкова Л.А., Петровский А.М., Шнейдерман М.В. Организация экспертиз и анализ экспертной информации. - М.:Наука, 2006. - 120 с. 
    Управление предприятием и анализ его деятельности./ Под ред. Титаева В.Н. – М.: Финансы и статистика, 2005. – 420с. 
14. Ременников В.Б. Разработка управленческого решения: Учебное пособие для вузов. – М.: ЮНИТИ – ДАНА,2001. – 140с.
15. Федосеев В.В. Экономико-математические методы и прикладное моделирование /– М.: ЮНИТИ, 2002. - 391 с.
16. Фишберн П. Теория полезности для принятия решений . - М;: Наука, 2008. - 352 с.
17. Фомин Г.П. Математические методы и модели в коммерческой деятельности // М., 2001, 544с
18. Черноморов Г.А Теория принятия решений: Учебное пособие. – Новочеркасск: Ред. Журн. «Изв. Вузов. Электромеханика», 2002, 276 с.
19. Черноруцкий И.Г.  Методы принятия решений.  СПб.: 2005. — 416 с. 
20. Экспертные оценки в системных исследованиях/Сборник трудов. - Вып.4. - М.: ВНИИСИ, 2007. - 120 с.