Метод экспкртных оценок

 

       Метод  экспертных оценок - (пед.) комплекс логических и математических процедур, направленный на получение от специалистов информации, ее анализ и обобщение с целью подготовки и выбора рациональных решений. Суть метода состоит в проведении экспертами анализа проблемы с качественной или количественной оценкой суждений и формальной обработкой результатов индивидуальных мнений. С помощью экспертного метода может проводиться анализ сложных педагогических процессов, характеризующихся в основном качественными, неформализуемыми признаками; прогнозирование развития отрасли знания, процессов обучения и воспитания и их взаимодействия с внешней средой; оценка альтернативных решений и выделение наиболее предпочтительных вариантов организации учебно-воспитательного процесса. Серьезным недостатком метода является то, что он не исключает субъективизма в оценке знаний и умений учащихся, ставит результаты оценки в зависимости от личных профессиональных и моральных качеств эксперта (в роли которого чаще всего выступает преподаватель или экзаменационная комиссия); к достоинствам метода можно отнести относительную простоту, дешевизну и доступность для массовой практики.

 

 

 

 

 

 

 

          Экспертные методы широко используются при подготовке решений в военной, социально-политической и экономической областях как наиболее сложных и многоплановых. В последнее время экспертный метод становится одним из основных методов исследования в педагогике и психологии. Обоснованию этого метода посвящены работы ученых: Азгальдова Г.Г., Бешелева С.Д., Гурвича Ф.Г., Кендэла М., Сидельникова Ю.В. и др.

         Данный метод использует эвристические возможности человека, позволяет выразить априорную информацию специалистов (экспертов) в численных величинах путем применения различного рода оценочных шкал. Источником априорной информации об изучаемом объекте являются, главным образом, знания, опыт и интуиция специалистов, работающих в данной области. Вся информация о факторах, влияющих на исследуемое явление, перерабатывается в его сознании, формируя определенное мнение о значимости каждого из существенных факторов. Значимость (ранг) фактора, определяемая одним экспертом, является случайной величиной. Однако общая закономерность распределения этих рангов практически не зависит от отдельных оценок, отражающих индивидуальные особенности мышления. Следовательно, полученные таким образом результаты обработки данных экспертного опроса можно считать близкими к объективным. Поэтому, чтобы повысить достоверность опроса, необходимо увеличивать количество экспертов, участвующих в оценке.

Рассматриваемый метод оценок особенно важен для психолого-педагогических исследований. Во-первых, метод позволяет получить первичную информацию о явлениях, процессах за относительно короткий период времени, что может составить основу для их более углубленного исследования. Во-вторых, в профессиональном отношении метод экспертных оценок более доступен для усвоения по сравнению с другими методами. В третьих, метод с одной стороны достаточно универсален и применим для оценки различных выборок, а с другой – предполагает свою конкретизацию применительно к отрасли, организации (за счет привлечения специалистов и отбора значимых критериев оценки). В четвертых, метод ориентирован на решение, прежде всего, практических задач. В пятых, метод нередко используется в тех условиях, когда имеются серьезные трудности в оценке явления, процесса с помощью других методов, и которые могут оказаться недостаточно надежными.

Вывод:

      Таким образом, метод экспертных оценок является полноправным методом психолого-педагогических исследований.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

      Основная идея прогнозирования на основе экспертных оценок заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами оценки и обработки получаемых результатов.

      Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте. Различают индивидуальные и коллективные экспертные оценки.

        Индивидуальные экспертные оценки основаны на использовании мнений экспертов-специалистов соответствующего профиля. Среди индивидуальных экспертных оценок наиболее широкое распространение получили методы интервью, аналитический, написания сценария.

        Метод интервью предполагает беседу прогнозиста с экспертом по схеме вопрос - ответ, в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по разным вопросам.

         Аналитический метод предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода

- возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.

        Метод написания сценария следует отнести как к индивидуальным, так и к коллективным экспертным оценкам.

        Наиболее достоверными являются коллективные экспертные оценки. Методы коллективных экспертных оценок предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами. В современных условиях используется математико-статистический инструментарий для обработки результатов опроса экспертов. Например, для оценки степени согласованности мнений экспертов по решению той или иной исследуемой проблемы исчисляются: дисперсия оценок, среднеквадратическое отклонение оценок и на этой основе — коэффициент вариации оценок. Чем меньше значение этого коэффициента, тем выше согласованность мнений экспертов.

        Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данного объекта. Количество экспертов, привлекаемых для разработки прогноза, может колебаться от 10 до 150 человек в зависимости от сложности объекта. Определяется цель прогноза, разрабатываются вопросы для экспертов. При проведении опроса необходимо обеспечить однозначность понимания отдельных вопросов и независимость суждений экспертов. После опроса осуществляется обработка материалов, полученных в результате коллективной экспертной оценки.             Окончательная оценка может определяться как среднее суждение или как среднее арифметическое значение оценок всех экспертов. Также могут использоваться и другие подходы.

 

       При разработке, научно-технических прогнозов методика статистической обработки материалов предусматривает использование совокупности оценок относительной важности, сделанных экспертами по каждому из оцениваемых направлений научных исследований. Оценки важности выражается в балах, и могут принимать значения от 0 до 1, от 0 о 10, от 0 до 100 и т.д.

        В мировой практике широкое применение нашли такие методы коллективных экспертных оценок, как метод коллективной генерации идей, метод 635, метод Делфи, метод "комиссий", метод написания сценария. Рассмотрим сущность перечисленных методов.

        Суть метода коллективной генерации идей («мозговой атаки») состоит в использовании творческого потенциала специалистов при "мозговой атаке" проблемной ситуации, реализующей вначале генерацию идей, а затем их деструктурирование (разрушение, критику) с выдвижением контр идей и выработкой согласованной точки зрения. Этот метод был разработан американцем А. Осборном, стремившимся решать проблемы посредством спонтанно возникающих идей. Нечто подобное использовали 400 лет назад индийские мастера Хинду во время своих собраний: запрещались критика и дискуссии, каждый мог свободно выражать свои идеи, оценка делалась позже.

        Метод коллективной генерации идей предполагает реализацию следующих этапов. Первый этап связан с формированием группы участников мозговой атаки по решению определенной проблемы. Оптимальная численность группы находится эмпирическим путем. Наиболее продуктивными признаны группы, состоящие из 10—15 человек. На втором этапе группа анализа составляет проблемную записку, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации. Третий этап - этап генерации идей. Каждый участник имеет право выступать много раз. Критика предыдущих выс­уплений и скептические замечания не допускаются. Ведущий корректирует процесс, приветствует усовершенствование или комбинацию идей, оказывает поддержку, тем самым освобождая участников от скованности. Продолжительность «мозговой атаки" - не менее 20 мин и не более 1 ч в зависимости от активности участников. Четвертый этап связан с систематизацией идей, высказанных на этапе генерации. Формируется перечень идей, выделяются признаки, по которым идеи могут быть объединены, идеи объединяются в группы согласно выделенным признакам. На пятом этапе осуществляется деструктурирование (разрушение) систематизированных идей. Каждая идея подвергается всесторонней критике со стороны группы высококвалифицированных специалистов. Группа состоит из 20-25 человек. На шестом этапе дается оценка критических замечаний и составляется список практически реализуемых идей. Этот метод позволяет качественно и достаточно быстро проводить оценку вариантов развития объекта прогнозирования.

         Метод «635» - одна из разновидностей мозговой атаки. Цифры 6, 3, 5 обозначают шесть участников, каждый из которых должен записать три идеи в течение пяти минут. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе - 108. Структура идей четко определена. Возможны модифика­ции метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

          Метод Делфи - одна из первых попыток разработать более обоснованную и строгую процедуру при экспертном прогнозировании, предпринятая Т. Гордоном и О. Хелмером — сотрудниками одной из корпораций США, которые в 1964 г. опубликовали результаты обобщения и статистической обработки мнений специалистов относительно перспектив развития в ряде областей науки. Он используется при прогнозировании развития науки и техники, инвестиций и других аспектов.

      Цель метода  Делфи — разработка программы последовательных много туровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3—4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта.

         Особенности метода Делфи:

а) анонимность экспертов (участники экспертной груп­пы неизвестны друг другу, взаимодействие членов группы

при заполнении анкет полностью  исключается);

б) возможность использования  результатов предыдущего

тура опроса;

в) статистическая характеристика группового мнения.

        Метод комиссий — один из методов экспертных оценок, основанный на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

       Метод написания сценария основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Своеобразным сценарием может быть описание последовательности и условий международной интеграции хозяйства стран, включающее следующие вопросы: от каких простейших форм к более сложным должен пройти этот процесс; как он повлияет на национальное хозяйство и экономические связи стран; каковы финансовые, организационные, соци­альные, юридические проблемы, которые могут возникнуть в ходе интернационализации хозяйства.