Экспертное оценивание и его этапы

Введение

 

Примеры методов экспертных оценок. Как будет изменяться экономическая  обстановка с течением времени? Что  будет с окружающей природной  средой через десять лет? Как изменится  экологическая обстановка? Будет  ли обеспечена экологическая безопасность промышленных производств или же вокруг станет простираться рукотворная  пустыня? Достаточно вдуматься в  эти постановки естественных вопросов, проанализировать, как десять или  тем более двадцать лет назад  мы представляли себе сегодняшний день, чтобы понять, что стопроцентно надежных прогнозов просто не может быть. Вместо утверждений с конкретными  числами можно ожидать лишь качественных оценок. Тем не менее мы, инженеры, должны принимать решения, например, об экологических и иных проектах и инвестициях, последствия которых скажутся через десять, двадцать и т.д. лет. Как быть? Остается обратиться к методам экспертных оценок. Что это за методы?

 

 

1. Экспертное оценивание и его этапы.

 

Экспертное оценивание – процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).

Эксперты (от латинского "expertus" – опытный) – это лица, обладающие знаниями и способные высказать аргументированное мнение по изучаемому явлению.

Методы  экспертных оценок – это методы организации работы со специалистами-экспертами и обработки мнений экспертов.

Сущность методов экспертных оценок заключается в том, что  в основу прогноза закладывается  мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте. Различают  индивидуальные и коллективные экспертные оценки.

Экспертные оценки часто  используются при выборе, например:

– одного варианта технического устройства для запуска в серию из нескольких образцов,

– группы космонавтов из многих претендентов,

– набора проектов научно-исследовательских работ для финансирования из массы заявок,

– получателей экологических кредитов из многих желающих,

– при выборе инвестиционных проектов для реализации среди представленных, и т.д.

Этапы экспертного  оценивания

1. Постановка цели исследования.

Экспертное оценивание предполагает создание некого разума, обладающего  большими способностями по сравнению  с возможностями отдельного человека. Источником возможностей мультиразума является поиск слабых ассоциаций и предположений, основанных на опыте отдельного специалиста. Экспертный подход позволяет решать задачи, не поддающиеся решению обычным аналитическим способом, в том числе:

• Выбор лучшего варианта решения среди имеющихся.
• Прогнозирование развития процесса.
• Поиска возможного решения сложных задач.

Перед началом экспертного  исследования необходимо четко определить его цель (проблему) и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил:

• Четкое определение условий, времени, внешних и внутренних ограничений проблемы. * Возможность ответа на вопрос с доступной человеческому опыту точностью.
• Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных оценок не рекомендуется задавать более пяти градаций.
• Эксперты оценивают возможные варианты, и не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

2. Выбор формы исследования, определение бюджета проекта.

Существующие виды экспертных оценок можно классифицировать по признакам:

• По форме участия экспертов: очное, заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле.
• По количеству итераций (повторов процедуры для повышения точности) – одношаговые и итерационные.
• По решаемым задачам: генерирующие решения и оценивающие варианты.
• По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.
• По способу обработки мнений экспертов: непосредственные и аналитические.
• По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5-12 человек экспертов.

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах. После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают оплату экспертов, аренду помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы.

3. Подготовка информационных материалов, бланков анкет, модератора процедуры.

Эксперты перед вынесением суждения должны разносторонне рассмотреть  представленную проблему. Для проведения этой процедуры необходимо подготовить  информационные материалы с описанием  проблемы, имеющиеся статистические данные, справочные материалы, бланки анкет, инвентарь. Следует избегать следующих ошибок: упоминать разработчиков  материалов, выделять тот или иной вариант решения, выражать отношение  руководства к ожидаемым результатам. Данные должны быть разносторонние и  нейтральные. Заранее необходимо разработать  бланки анкет для экспертов. В  зависимости от метода они могут  быть с открытыми и закрытыми  вопросами, ответ может даваться в виде суждении, парного сравнения, ранжированного ряда, в баллах или  в виде абсолютной оценки.

Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение.

4. Подбор экспертов.

Проблема подбора экспертов  является одной из наиболее сложных  в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.

В проблеме подбора экспертов  можно выделить две составляющие – составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.

Эксперты должны обладать опытом в областях, соответствующих  решаемым задачам. При подборе экспертов  следует учитывать момент личной заинтересованности, который может  стать существенным препятствием для  получения объективного суждения. С  этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует  ряд других и далее по цепочке, пока не будет подобран необходимый  коллектив.

5. Проведение экспертизы.

Проведение процедуры  отличается в зависимости от используемого  метода. Общие рекомендации:

• Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).
• Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.

6. Статистический анализ результатов. После получения ответов экспертов необходимо провести их оценку. Это позволяет:

1)Оценить согласованность  мнений экспертов. При отсутствии  значимой согласованности экспертов  необходимо выявить причины несогласованности  (наличие групп) и признать  отсутствие согласованного мнения (ничтожные результаты).

2)Оценить ошибку исследования.

3)Построить модель свойств  объекта на основе ответов  экспертов (для аналитической  экспертизы). Результаты экспертного  оценивания оформляются в виде  отчёта. В отчете указывается  цель исследования, состав экспертов,  полученная оценка и статистический  анализ результатов.

7. Подготовка отчета с результатами экспертного оценивания.

 

2. Виды экспертных оценок

 

Методы экспертных оценок можно разделить на две  группы:

• методы коллективной работы экспертной группы
• методы получения индивидуального мнения членов экспертной группы.

Методы  коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе.

Методы коллективной работы включают методы "мозговой атаки", "сценариев", "деловых игр", "совещаний" и "суда".

Мозговая атака. Организуется он как собрание экспертов, на выступления которых наложено одно, но очень существенное ограничение – нельзя критиковать предложения других. Можно их развивать, можно высказывать свои идеи, но нельзя критиковать! В ходе заседания эксперты, "заражаясь" друг от друга, высказывают все более экстравагантные соображения. Часа через два записанное на магнитофон или видеокамеру заседание заканчивается, и начинается второй этап мозгового штурма – анализ высказанных идей. Обычно из 100 идей 30 заслуживают дальнейшей проработки, из 5-6 дают возможность сформулировать прикладные проекта, а 2-3 оказываются в итоге приносящими полезный эффект – прибыль, повышение экологической безопасности, оздоровление окружающей природной среды и т.п. При этом интерпретация идей – творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: "Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс". После проработки эта идея привела к созданию специальных устройств, создающих волны, сбивающиеся торпеду с курса.

Метод «635» – одна из разновидностей мозговой атаки. Цифры 6, 3, 5 обозначают шесть участников, каждый из которых должен записать три идеи в течение пяти минут. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе – 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

Деловые игры основаны на моделировании функционирования социальной системы управления при выполнении операций, направленных на достижение поставленной цели. В отличие от предыдущих методов, где экспертные оценки формируются в ходе коллективного обсуждения, деловые игры предполагают активную деятельность экспертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой.

Основным достоинством деловых  игр является возможность выработки  решения в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы  управления. Недостаток заключается  в сложности организации деловой  игры в условиях, приближенных к  реальной проблемной ситуации.

Метод совещаний ("комиссий", "круглого стола") – самый простой и традиционный. Он предполагает проведение совещания или дискуссии с целью выработки единого коллективного мнения по решаемой проблеме. В отличие от метода "мозговой атаки" каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других. В результате такого тщательного обсуждения уменьшается возможность ошибок при выработке решения.

Достоинством метода является простота его реализации. Однако на совещании может быть принято  ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.

Метод комиссий – один из методов экспертных оценок, основанный на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

Метод написания  сценария основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Своеобразным сценарием может быть описание последовательности и условий международной интеграции хозяйства стран, включающее следующие вопросы: