Теоретико-методологические основы формирования и применения оценочных методов и моделей в экономической деятельности

После определения  структуры критериев возникает  задача сопоставления сравнительной  весомости критериев, определения  степени их влияния на эффективность  функционирования субъектов экономической деятельности. Эта задача также решается с использованием экспертных методов. В настоящее время известны различные подходы к оценке весомости критериев. Применение их с последующей обработкой полученных результатов на ПЭВМ позволяет определить значения коэффициентов весомости критериев, входящих в состав оценочной системы.

Конкретный  вид объекта оценивания требует "настройки" оценочной системы. Это значит, что в автоматизированной системе экспертного оценивания должны храниться различные варианты структуры оценочной системы, рассчитанные на различные объекты. В каждом конкретном случае должен использоваться соответствующий вариант реализации оценочной системы. Формированию каждого варианта должны предшествовать экспертизы по определению иерархической структуры критериев и по определению сравнительной весомости критериев.

Другой важной особенностью оценочных систем являются пороговые ограничения, отражающие требования, предъявляемые к объектам оценивания по тем или иным критериям. Пороговые ограничения также учитываются при формировании оценочной системы. Сведения о них хранятся в базе данных автоматизированной системы и используются при оценке уровня экономического и инновационного потенциала хозяйствующих субъектов.

Система показателей-фильтров и порогов.

Порогом по показателю называется некоторое фиксированное  значение на шкале этого показателя. Смысл введения порога в том, что  оцениваемому объекту приписывается  низший из возможных уровней экономического и инновационного потенциала, если ее оценка по этому показателю ниже порога. Причем, этот результат не зависит от оценок исследуемого объекта по другим показателям развития.

Фильтром называется показатель, порог по которому выше минимального значения шкалы этого  показателя. Из этого определения вытекает, что не все показатели играют роль фильтров. Решение о том, какие показатели делать фильтрами, принимает экспертная комиссия по результатам "взвешивания" показателей оценки потенциала хозяйствующих субъектов, в качестве фильтров выбираются наиболее значимые показатели экономического и инновационного развития.

Построение  и агрегирование деревьев критериев  и показателей в автоматизированной системе при коллективной экспертизе.

Анализ функционирования автоматизированных систем, предназначенных  для оценки многокритериальных объектов, что технология формирования критериев и показателей включает следующие шаги: [24]

- формируется единый словарь  наименований целей оценки и  наименований возможных критериев;

- каждый эксперт вводит  в систему свое представление об иерархии целей. При этом он указывает, каким критерием можно измерить степень достижения каждой цели и присваивает веса всем критериям. Выполняя эту работу, эксперт обязан пользоваться единым словарем, сформированным ранее;

- программа агрегирования  строит обобщенное дерево на основе всех экспертных  деревьев.

Одновременно, программно определяется степень согласованности экспертных мнений. Строится обобщенное дерево, имеющее  наибольшую степень согласованности. Если степень согласованности получается менее пятидесяти процентов, то считается, что обобщенное дерево построить невозможно. Последний результат говорит о том, что мнения экспертов значительно расходятся и, следовательно, проблема нуждается в более глубокой проработке.

Важными этапами информационной технологии оценки  многокритериальных объектов являются формирование оценочных шкал и порогов и калибровка оценочной системы.

В подавляющем  большинстве автоматизированных систем для получения значений критериев  по значениям показателей применяется  средневзвешенный способ свертки значений показателей.

Основу технологии оценки экономического и инновационного потенциала предприятий  составляют оценочные системы, принципы, методы и технологии оценки сложных объектов.

За основу принята  модель оценочной деятельности, разработанная  для решения задач квалиметрии  сложных многокритериальных объектов.

Обобщенная  постановка оценочной задачи  включает:

- разбиение  исследуемых объектов на классы (качества) – в нашем случае  этим качеством выступает экономический  и инновационный потенциал;

- разбиение  каждого класса на подклассы  - "уровни потенциала предприятия".

В общей постановке задачи оценки суть первого этапа заключается в построении фактор-множеств на совокупностях изучаемых объектов, второго - во введении отношения порядка на полученном фактор-множестве, допускающего его строгомонотонное отображение в некоторое пространство мер приоритетности или качества. В частности, такой подход может использоваться для оценки объектов экономической деятельности и больших систем.

Установление  отношения линейного порядка  на произвольном классе оцениваемых  объектов не всегда возможно ввиду  наличия факторов неопределенности и нечеткости.

Для устранения этого затруднения, на множестве  оцениваемых объектов, по каждому  из критериев и показателей оценки, вводится отношение предпорядка  и отношение эквивалентности. [4]

Неопределенности, сопутствующие формированию системы показателей оценки, базы сравнения, экспертным процедурам оценки экономического и инновационного потенциала по субъективным показателям экономического и инновационного развития, порождают неопределенность в определении уровня потенциала.

 

 

3. Процедура выбора показателей оценки

 

Показатели  и индикаторы оценки экономического  и инновационного потенциала предприятий  является базой оценки общего уровня хозяйственной и инновационной  деятельности. Поэтому определению  состава критериев, на основании  оценок по которым принимаются управленческие решения, должно быть уделено достаточно серьезное внимание.

Следует подчеркнуть, что определение списка критериев, характеризующих объект оценки, требует  профессионального знакомства с  основными принципами организации и проведения экспертиз и удовлетворять ряду требований, позволяющих считать результаты экспертизы по формированию списка критериев достаточно надежными. Укажем некоторые из них.

1. Для участия  в экспертизе по формированию  списка критериев должны привлекаться высококвалифицированные специалисты, профессионально знакомые с объектом экспертизы, имеющие достаточный опыт работы в качестве экспертов.

2. Эксперты должны  четко представлять цели и  задачи экспертизы и, прежде  всего, четко понимать объект  оценки, его назначение в системе, специфику. Качество результатов экспертизы не должно быть снижено за счет неточного, а возможно и неодинакового представления экспертами объекта оценки.

3. К моменту  проведения экспертизы по формированию  списка критериев организаторы экспертизы (аналитическая группа) должны представить сценарий получения и использования результатов оценки объектов экспертизы. Это способствует более четкому пониманию целей и задач экспертизы как экспертами, так и разработчиками и пользователями разрабатываемой системы оценок.

4. Экспертиза  по формированию списка критериев  должна быть организована таким  образом, чтобы каждый эксперт  наиболее полно реализовал собственное  представление о рациональной  системе оценок объекта.

5. Как правило,  экспертизы по формированию списка критериев являются многоуровневыми, носят итеративный характер.  Наиболее распространенным прообразом таких  экспертиз  являются процедуры метода Делфи.

6. В процессе  организации экспертиз по формированию  списка критериев происходит  как непосредственное пополнение и видоизменение списка критериев, так и анализ получаемых в ходе экспертизы экспертных оценок.

7. Для анализа  результатов очередного тура  экспертизы по формированию списка  критериев используются, как правило,  критерии согласованности и существенности. Согласованность позволяет оценить как попарную близость экспертных суждений с последующей классификацией групп экспертов-единомышленников, имеющих близкие суждения, так и согласованность экспертной комиссии в целом. Существенность позволяет определить сравнительную значимость критериев с точки зрения экспертной комиссии с целью сохранения в списке критериев наиболее значимых. [7]

8. Экспертиза  по формированию списка критериев  завершается после стабилизации  процесса, когда список критериев от итерации к итерации практически не пополняется и не сокращается (все оставшиеся критерии достаточно существенны), а значения степени согласованности экспертных оценок остаются, практически неизменными.

9. После того  как список критериев сформулирован, для формирования оценочной системы необходимо провести анализ критериев на независимость, сопоставимость, иерархическую упорядоченность. При необходимости устанавливаются значения весовых коэффициентов, соответствующих сравнительной значимости критериев.

Построение  оценочной системы осуществляется в два этапа. На первом, как уже  отмечалось выше, проводится формирование предварительного списка показателей  оценки и их экспертное ранжирование. На втором, после корректировки списка, проводится "взвешивание" показателей оценки. Оценка весов показателей, по которым оценивается многокритериальный объект, является важным этапом построения оценочной системы, т.к. значимость, а значит и воздействие на конечный результат (результат оценки экономического и инновационного потенциала), различных показателей может быть существенно разным. Этот этап носит, как правило, экспертный характер и, чем большее число параметров оценки имеет при этом вербальный характер, тем более расплывчаты представления экспертов о сравнительной важности показателей или критериев оценки. В этих условиях для решения указанной задачи целесообразно использовать, наряду с экспертными методами, методы теории нечетких множеств и нечеткие алгоритмы. В работе для оценки экономического и инновационного потенциала предлагается использовать методы получения и анализа экспертной информации, изложенные в работах. Следуя принятому в указанных работах подходу, дерево критериев является основным элементом оценочной системы. [13]

Следует также  отметить, множество критериев, с помощью которых может быть проведена оценка уровня потенциала, должно отражать специфику оцениваемого объекта в целом. Поэтому, в общем случае, необходимо формирование комплекса оценочных систем, позволяющих осуществлять сравнительную оценку уровня экономического и инновационного потенциала по различным направлениям хозяйственной деятельности, но в тоже время позволять сравнивать (оценивать приоритетность, если речь идет о приоритетном финансировании в зависимости от уровня экономического и инновационного потенциала) различные предприятия.

Наличие факторов неопределенности и нечеткости, обусловленное  тем, что уровень экономического и инновационного потенциала как  понятие, является нечетким объектом как  по составу описывающих его свойств, так и возможности оценки интенсивности этих свойств. Поэтому он оценивается с помощью системы показателей, содержащей как объективные, так и субъективные показатели оценки, что приводит к необходимости использования методов экспертного оценивания как при формировании системы критериев, так и для получения оценок по ним.

На всех этапах формирования оценочной системы, а  также и при оценке потенциала по критериям (показателям), целесообразно  привлечение не одного эксперта, а  экспертных групп. При этом возникает  задача агрегирования мнений отдельных экспертов в коллективное решение экспертной группы.

На основе анализа  опыта проведения экспертных оценок, ниже приведены основные процедуры  формирования оценочной системы, обладающей достаточно сложной структурой критериев, а также методов агрегирования экспертных оценок по частным показателям оценки.

В зависимости  от характера оцениваемой с помощью  критерия информации, эксперт предполагает количественную либо качественную формы  оценки. В ряде случаев выставление  численной оценки вызывает затруднение у эксперта и  результаты можно представить лишь используя интервальные оценки, или, в более общем варианте, оценки в виде нечетких множеств.

Непременным условием формирования адекватной оценочной  системы является, с одной стороны, полнота набора критериев, а с другой стороны, их неизбыточность.

Решающие правила  оценки по отдельным показателям  должны формироваться с учетом перечисляемых  выше возможных особенностей набора критериев, характеризующих объект оценки.

Как уже указывалось, в работе принята двухуровневая схема построения оценочной системы.

На первой стадии формируется список показателей  оценки  экономического и инновационного потенциала предприятия, они разбиваются  на классы так, что к одному классу относятся попарно сравнимые критерии.

Критерии, принадлежащие  к одному классу сравнимости, могут  быть также неоднородны. В этом случае критерии разбиваются на подклассы  лексикографически однородных критериев. Дальнейшее уточнение сравнительной  важности критериев происходит уже внутри подкласса лексикографически однородных критериев. Сравнительная весомость таких критериев определяется по описанной ниже методике, заключающейся в последовательном применении метода уровневых множеств, для оценки весов показателей из эталонного множества и эталонного метода построения отношения предпочтения на множестве показателей оценки потенциала. [9]

Всякий субъект  хозяйственной и инновационной  деятельности описывается системой свойств, при этом многокритериальное оценивание проводится по системе показателей, значения которых определяют интенсивность этих свойств. Оценочная система формируется в виде дерева целей, где целью является достижение определенного значения интенсивности свойств, принятого за базу оценки.

В соответствии с этим оценочные системы строятся как графы критериев (показателей), являющихся измерителями достижения целей.