Нейронные сети. Однослойный персептрон. Линейная разделимость

 

 

Содержание

 

 

 

 

 

 

Введение

 

В современных быстроменяющихся экономических условиях требуется развивать математический аппарат и методики его применения, требуется разрабатывать информационные технологии и инструментальные средства для повышения оптимальности управленческих решений на всех уровнях экономики. Универсальные программные системы поддержки принятия решений - мощная инструментальная база анализа подобных экономических процессов и систем.

Проблема нейросетевого математического моделирования экономических объектов и систем, привлекает внимание многих отечественных и зарубежных ученых.

Необходимо отметить, что нейронные сети завоевали большую популярность среди различных специалистов, в том числе и у экономистов. Несмотря на значительные достижения в области создания теории нейронных сетей существует потребность в теоретических разработках, опирающихся на математические модели, учитывающие экономическое содержание разрабатываемой проблемы исследования, а также в эмпирических исследованиях, посвященных практическому применению этих методов.

 

 

 

 

1. Нейронные сети

 

Нейронные сети - это принципиально новое направление в прогнозировании, получившее на сегодняшний день широкое распространение. Нейронная сеть - компьютерный алгоритм, построенный по принципу человеческого мозга и обладающий способностью к обучению. Использование компьютерной реализации моделей значительно увеличивает оперативность получения аналитического материала для принятия решений. Следовательно, выполняются такие основные свойства управления, как эффективность, непрерывность и оперативность. Кроме того, в самой природе нейронных сетей заложена возможность анализа большого объема косвенной и зашумленной информации. Все это дает основание предполагать возможность их эффективного использования для решения различного рода финансовых задач.

Искусственные нейронные сети (ИНС) представляют собой вычислительные структуры, которые обрабатывают информацию по образцу процессов, происходящих в нервных системах человека и других живых существ. ИНС (Neural Network) являются одной из наиболее развивающихся областей современной теории интеллектуальных вычислений (computer intelligence), связанной с разработкой и применением систем искусственного интеллекта. В настоящее время ИНС также относятся к наиболее перспективным направлениям, которые должны обеспечить прогресс в сфере информационных и компьютерных технологий.

Теоретические основы ИНС были заложены в начале сороковых годов 20-го века при исследовании возможных подходов к созданию вычислительных машин. В истории известны самые различные подходы, которые были предложены на этих ранних этапах развития вычислительной техники. Многие из этих подходов оказались бесперспективными и не получили дальнейшего развития. Наиболее продуктивным оказался подход, основанный на архитектуре машины фон Неймана. В настоящее время этот подход является традиционным, поскольку используется практически во всех современных компьютерах.

Однако компьютеры, основанные на архитектуре фон Неймана оказались неспособными к эффективному решению задач, связанных с интеллектуальной деятельностью человека. В первую очередь речь идёт о задачах распознавания и ассоциации образов, автоматической классификации и обучения. По этой причине наряду с традиционной архитектурой машины фон Неймана развивался ещё один альтернативный подход к вычислениям, связанный с искусственными нейронными сетями (ИНС).

ИНС и построенные на их основе нейрокомпьютерные технологии в качестве прототипа используют структуры и механизмы функционирования биологических нервных систем. Создание ИНС связано с попытками понять фундаментальные принципы работы человеческого мозга. В настоящее время ИНС представляют собой весьма упрощенные модели функционирования живого мозга, ориентированные не на полное биологическое соответствие, а скорее на имитацию обработки информации в нервной системе с помощью определенных вычислений, получивших наименование нейровычислений.

Теория нейровычислений с помощью ИНС представляет собой альтернативную традиционному подходу парадигму вычислений, которая по возрасту ровесница архитектуре машины фон Неймана. Теоретические основы нейровычислений были заложены У. МакКаллоком и В. Питтсом ещё в начале 1940-х годов, но только в начале 1990-х годов, после преодоления некоторых теоретических барьеров, ИНС получили широкое распространение. В настоящее время ИНС серьёзно рассматриваются в качестве методологической основы для создания компьютера нового поколения.

Биологический нейрон является особой биологической клеткой, обрабатывающей информацию (см. рис. 1).

Как и любая клетка, нейрон имеет тело (сому), внутри которого располагается ядро. Из сомы нейрона выходят многочисленные отростки, обеспечивающие его взаимосвязь с другими нейронами.

Выделяется два вида отростков. Первый вид образуют многочисленные тонкие, густо ветвящиеся дендриты, по которым в нейрон поступает информация. Простейший биологический нейрон может иметь до 104 дендритов, принимающих информацию от других нейронов.

Рис. 1. Взаимосвязь биологических нейронов

Второй вид представляют более толстые отростки-аксоны, расщепляющиеся на конце на тысячи нервных окончаний - колатералов, передающих информацию на вход другим нейронам. Каждый нейрон имеет только один выходной отросток - аксон, с помощью колатерал которого он может быть связан с 103-104 другими нейронами. Длина дендрита может достигать 1 мм, а длина аксона - сотен миллиметров.

По некоторым оценкам человеческий мозг состоит из порядка 1011 нейронов, которые имеют между собой примерно 1014-1015 соединений. Аксоны и дендриты выступают в роли электрических проводов, соединяющих нейроны друг с другом.

Каждый нейрон передаёт возбуждение другим нейронам через особые нервные контакты, называемые синапсами, которые могут располагаться как на соме, так и на дендритах. Процесс обработки и передачи информации между нейронами имеет сложную электрохимическую природу.

Проходя через синапс электрический сигнал (импульс) может изменить свою амплитуду в сторону увеличения или уменьшения. Эти изменения следует интерпретировать как умножение амплитуды сигнала на весовой коэффициент, связанный с определенным синапсом. В зависимости от вида синапса входной сигнал нейрона может быть положительным или отрицательным (возбуждающим или тормозящим). Величина сигнала, генерируемого на входе нейрона, определяется синаптическим коэффициентом (весом синапса), который может меняться в процессе функционирования нейрона.

Каждый нейрон может находиться в возбужденном или невозбужденном состоянии. Состояние нейрона зависит от взвешенной алгебраической суммы возбуждающих и тормозящих сигналов, поступающих к нему от других нейронов. Если эта алгебраическая сумма превышает некоторое пороговое значение, то нейрон переходит в возбужденное состояние. В возбужденном состоянии нейрона на его аксонном выходе генерируется выходной сигнал (короткая серия импульсов продолжительностью несколько микросекунд), который поступает к другим нейронам.

Нейроны человеческого мозга работают параллельно, выполняя около 1016 соединений в секунду, что намного превышает способность любого современного компьютера. Такие сложные задачи, как распознавание зрительного образа, человек выполняет за несколько сотен микросекунд. Примем во внимание, что скорость выполнения операций нейронами составляет несколько микросекунд. Это означает, что весь цикл распознавания зрительного образа человеком требует около 10 последовательных нейронных операций.

ИНС могут быть реализованы как аппаратным, так и программным способом. Хотя нейронные сети и могут быть реализованы в виде быстрых аппаратных устройств (нейрокомпьютеров, нейроплат и нейроБИС), большинство современных исследований выполняется с использованием программного моделирования на обычных компьютерах.

Сфера практических приложений ИНС огромна и постоянно расширяется. Нейронные сети успешно применяются в самых различных областях - бизнесе, медицине, технике, геологии, военном деле и др. С помощью ИНС можно предсказывать показатели биржевого рынка, классифицировать состояние больного, распознавать оптические и звуковые сигналы, управлять качеством выпускаемой продукции, следить за состоянием оборудования. Нейросетевые технологии активно используются в маркетинге для моделирования поведения клиентов, нахождения скрытых закономерностей в маркетинговых базах данных. Технологии ИНС имеют хорошие перспективы в банковском деле при прогнозировании рисков выдачи невозвратимых кредитов, определении мошеннических сделок с кредитными карточками, составлении рейтингов клиентов и решении других задач.

Рассмотрим пример. Инвестор вынужден решать ряд вопросов, связанных с определением эффективности будущих вложений, выбором объекта инвестирования, распределением денежных средств, если объект инвестирования не единствен. Стратегия поведения инвестора зависит от целей, которые он изначально ставит перед собой, а также от его склонности или, наоборот, несклонности к риску.

Многие ставшие на сегодняшний день классическими теории формирования портфеля ценных бумаг, в частности теория Марковица, сводят решение задачи формирования портфеля ценных бумаг к оптимизационной задаче. При формировании портфеля ценных бумаг представляется целесообразным оперировать не в пространстве портфелей, а в пространстве отдельных ценных бумаг. Это существенно снижает размерность задачи и делает ее решение более эффективным.

В этой связи в процессе решения задачи формирования инвестиционного портфеля предлагается на первом этапе построить прогноз курсовой стоимости акций выбранных эмитентов, а затем, опираясь на полученные данные, определить доли акций каждого эмитента в портфеле. Для построения прогноза воспользуемся возможностями нейросетевых технологий.

Нейросетевые технологии - это компьютерный алгоритм, работу которого можно условно разделить на два основных этапа: обучение и построение прогноза. На первом этапе на вход сети подаются данные, необходимые для формирования обучающей выборки. Сеть анализирует и находит взаимосвязь между рядами данных обучающей выборки за период времени п, где п — количество наблюдений обучающей выборки. Обучающая выборка содержит два типа параметров - определяющие (входные) и прогнозируемые (выходные).

Если рассматривать приведенный выше пример с инвестором, то в нашем случае в качестве выходного параметра используется изменение курсовой стоимости акции. Набор входных, т.е. тех параметров, которые, прямо или косвенно связаны с изменением курсовой стоимости акции, предстоит определить. На втором этапе обучения сеть по введенным нами значениям определяющих параметров делает прогноз.

Нейронная сеть состоит из множества отдельных искусственных нейронов. Искусственным нейроном называется элемент, вычисляющий взвешенную сумму V входных величин xi:

где N - размерность пространства входных сигналов.

Затем полученная сумма V сравнивается с некой пороговой величиной и вызывает действие нелинейной функции активации f (ее можно охарактеризовать как «решающую функцию»). Коэффициенты Wi - во взвешенной сумме обычно называют весовыми коэффициентами. Выходной сигнал тогда имеет вид f (V) (рис. 1).

Вычисление весовых коэффициентов происходит на этапе обучения в процессе решения нейронной сетью поставленной задачи, в которой нужный ответ определяется как результат анализа примеров, сгруппированных в обучающее множество.

Образно говоря, в обучающем множестве на вход сети подается вектор исходных данных, на выходной узел сообщается желаемое значение результата вычислений. Нейронная сеть присваивает каждому из входных значений его вес Wi, а затем с применением специального алгоритма обучения корректирует эти веса так, чтобы прогнозное значение, получившееся в результате работы сети на выходном узле, было максимально приближено к заданному реальному. Когда это и еще ряд специальных условий выполняются, сеть можно считать обученной и использовать для прогноза.

Таким образом, поскольку качество работы сети определяется, главным образом, качеством построения обучающей выборки, ее тщательная проработка позволит сэкономить массу времени и обеспечить точность прогноза.

Невозможно получить сколько-нибудь удовлетворительный результат с помощью нейронных сетей, подав на вход необработанные, «сырые» данные. Для работы с нейронными сетями важно не только тщательно отобрать показатели: необходимо также представить их в определенной, «понятной» для сети форме. Можно выделить два основных правила, согласно которым формируется обучающая выборка для нейронной сети.

Нейронные сети лучше реагируют не на исходные ряды данных, а на ряды приращений. Этот факт можно объяснить следующим образом. В нейронной сети задается диапазон значений, определяемый наибольшим и наименьшим значениями из обучающей выборки. Если этот диапазон велик, а сами значения при переходе от наблюдения к наблюдению изменяются на незначительную по сравнению с диапазоном величину, то нейронная сеть попросту не придаст должного значения этим изменениям. Кроме того, использование при работе с сетью приращений позволяет получать прогноз в случае, когда абсолютные значения переменных, на основе которых строится прогноз, выходят за пределы диапазона, установленного при обучении.

Таким образом, чтобы оптимизировать обучение и работу сети, преобразуем все исходные ряды в ряды приращений следующим образом:

где рг - значение показателя р в момент времени i.

Другой особенностью нейронных сетей является то, каким образом происходит обработка данных. при использовании стандартного алгоритма обратного распространения ошибки сеть «видит» и анализирует данные исходной матрицы рядами (строками). Чтобы нейронная сеть смогла «увидеть» тренды, нужно представить данные таким образом, чтобы в каждой строке обучающей матрицы отражалась «история» временного ряда, т.е. содержалась информация как о текущем наблюдении, так и о прошлых наблюдениях.

На этапе обучения возникают две главные проблемы: каким образом следует установить параметры обучения и когда следует остановить процесс обучения.