Нейрокомпьютерные системы

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ  УЧРЕЖДЕНИЕ

ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

«ИЖЕВСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ 

ИМЕНИ М.Т. КАЛАШНИКОВА»

КАФЕДРА «ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА»

 

 

 

 

 

 

 

Курсовая  работа

 

на тему «Нейрокомпьютерные системы»

по дисциплине «Системы искусственного интеллекта»

 

 

 

 

Выполнил: студент  гр. 9-36-1

Тукмачева Л.И.

 

Проверил: к.т.н. доцент

Кропачев Л. А.

 

 

 

 

 

 

 

 

 

Ижевск - 2012 г.

 

Содержание

 

Введение

1. Основы нейрокомпьютерных систем

1.1 Основы искусственных нейронных сетей

1.2 Алгоритм обратного распространения

1.3 Нейронные сети Хопфилда и Хэмминга

2. Современные направления развития нейрокомпьютерных технологий в России и зарубежом

2.1 Применение искусственных нейронных сетей в системах управления

2.2 Теория нейронных сетей

2.3 Нейроматематика

2.4 Прикладная нейроматематика

2.5 Нейрочипы и нейрокомпьютеры

2.6 Обзор зарубежных достижений нейрокомпьютерных систем

Заключение

Глоссарий

Список использованных источников

 

Введение

 

Актуальность исследования. Теория искусственных нейронных сетей (ИНС) благодаря фундаментальным работам зарубежных исследователей У. Мак-Каллока, У. Питтса, Ф. Розенблатта, М. Минского, Б. Уидроу, Т. Кохонена, Д. Хопфилда, С. Гроссберга, а также советских и российских ученых И.Б. Гутчина, A. C. Кузичева, Н.В. Позина, С.О. Мкртчяна, Н.М. Амосова, А.И. Галушкина, А.Н. Горбаня и др. получила широкое развитие. При этом основные направления исследований были связаны с разработкой моделей искусственных нейронов (ИН), изучением структуры и свойств различных моделей нейронных сетей, их обучением (настройкой) для решения поставленных задач и проектированием нейрокомпьютерных систем (НКС) на их основе. В настоящее время нейросетевая тематика стала междисциплинарной и. породила новые научные направления, такие как нейроинформатика, нейроматематика и др. В нашей стране и за рубежом издано большое количество монографий и учебников, посвященных основам и развитию теории ИНС и НКС, рассчитанных на максимально широкий круг читателей.

Нейронные сети и нейрокомпьютеры в настоящее  время находят применение для  решения задач практически во всех областях научно-исследовательской  и инженерной деятельности: в авиации  и космической технике, энергетике (в т. ч. атомной), химической, электронной  и нефтегазодобывающей отраслях промышленности, военной технике  и системах двойного применения, в  управлении роботами, станками и технологическими процессами, в системах обработки  изображений, сигналов и данных, вычислительных системах и др.

Известно, что  искусственные нейронные сети в  первую очередь предназначены для  решения специфических, трудно формализуемых  задач (также возможно применение ИНС  для решения формализуемых задач  вместо традиционных фоннеймановских вычислителей), что дает основания предполагать высокую эффективность использования нейрокомпьютеров в так называемых системах специального (двойного) назначения. В настоящее время в связи с бурным развитием информационных технологий можно ожидать появления новых сверхмощных универсальных нейровычислительных комплексов и систем, способных выполнять большие объемы вычислительных работ в реальном масштабе времени.

Стремительное развитие нейрокомпьютерных технологий приводит к появлению научных  проблем и задач, системному решению  которых ранее уделялось недостаточно внимания.

Объектом исследования выступают нейрокомпьютерные системы.

Предметом исследования является процессы способствующих развитию нейрокомпьютерных систем.

Таким образом, целью данного исследования является исследование состояния и перспектив развития нейрокомпьютерных систем.

Основные задачи, поставленные и решенные в данной работе, следующие.

1. Теоретическое обосновать и исследовать нейрокомпьютерные системы;
2. Рассмотреть текущее состояние проблемы;
3. Определить перспективы развития нейрокомпьютерных систем.

Практическая  значимость исследования заключается  в том, что поставлены и решены задачи повышения эффективности  применения нейрокомпьютерных систем с учетом различных условий работы и особенностей их технической реализации, которые могут использоваться в  практике.

 

1. Основы нейрокомпьютерных систем

1.1 Основы  искусственных нейронных сетей

 

Для решения  задач идентификации и прогнозирования  технического состояния могут быть использованы искусственные нейронные  сети (ИНС) или, просто, нейронные сети (НС) различного рода.

Для реализации с максимальным эффектом функций  НС, как правило, существует оптимальная  совокупность параметров НС. Следовательно, одной из основных задач, стоящих  перед разработчиком НС, является выбор этой совокупности, определяющей, в конечном итоге, вид сети.

Основным  элементом сети является искусственный  нейрон.

Нейроны представляют собой относительно простые, однотипные элементы, имитирующие работу нейронов мозга. Каждый нейрон характеризуется  своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены и  заторможены. Искусственный нейрон, также как и его естественный прототип, имеет группу синапсов (входов), которые соединены с выходами других нейронов, а также аксон - выходную связь данного нейрона - откуда сигнал возбуждения или  торможения поступает на синапсы  других нейронов. Общий вид нейрона  представлен на рис 1¹.

 

нейронная сеть нейрокомпьютерная  россия

Рис.1 Искусственный  нейрон - простейший элемент искусственной  нейронной сети

y_j - сигнал, поступающий от нейрона j;

s_k - скалярное произведение вектора входных сигналов и вектора весов;

f_k - функция возбуждения;

y_k - выходной сигнал нейрона

 

Каждый синапс характеризуется величиной синаптической связи или весом w_i, который по своему физическому смыслу эквивалентен электрической проводимости.

Текущее состояние  нейрона определяется как взвешенная сумма его входов:

 

(1)

 

где x - вход нейрона, а w - соответствующий этому  входу вес.

Выход нейрона  есть функция его состояния, т.е. Нелинейная функция f (s) называется активационной, сжимающей функцией или функцией возбуждения нейрона. Основные разновидности активационных функций, применяемых в нейронных сетях, представлены на рис.2.

 

Рис.2 Активационная  функция

а) пороговая; b) полулинейная; c) сигмоидальная

 

В качестве активационной функции часто  используется сигмоидальная (s-образная или логистическая) функция, показанная на рис.2. (приложение Б). Эта функция  математически выражается по формуле

 

(2)

 

При уменьшении сигмоидальная функция становится более пологой, в пределе при =0 вырождаясь в горизонтальную линию на уровне 0,5; при увеличении сигмоидальная функция приближается по внешнему виду к функции единичного скачка с порогом T в точке x=0. Из выражения для сигмоидальной функции видно, что выходное значение нейрона лежит в диапазоне [0,1]. Одно из полезных свойств сигмоидальной функции - простое выражение для ее производной, применение которого будет рассмотрено в дальнейшем:

 

(3)

 

Следует отметить, что сигмоидальная функция  дифференцируема на всей оси абсцисс, что используется в некоторых  алгоритмах обучения. Кроме того, сигмоидальная  функция обладает свойством усиливать  малые сигналы лучше, чем большие, тем самым предотвращая насыщение  от больших сигналов, так как они  соответствуют областям аргументов, где сигмоидальная функция имеет  пологий наклон².

Выбор структуры  нейронной сети осуществляется в  соответствии с особенностями и  сложностью задачи. Для решения некоторых  отдельных типов задач уже  существуют оптимальные, на сегодняшний  день конфигурации, описанные. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации.

Теоретически  число слоев и число нейронов в каждом слое нейронной сети может  быть произвольным, однако фактически оно ограничено ресурсами компьютера или специализированной микросхемы, на которых обычно реализуется нейронная  сеть.

Нейроны делятся на три типа (рис.3) в соответствии с функциями, выполняемыми ими в  сети. Входные нейроны (нейроны входного слоя) принимают данные из внешней  среды и определенным образом  распределяют их далее по сети. На промежуточные  нейроны (нейроны скрытого слоя) возлагается  роль основных участников процесса решения  задачи. Выходные же нейроны (нейроны  выходного слоя) передают результаты работы сети во внешнюю среду (потребителю) ³.

 

Рис.3 Типы нейронов в зависимости от их функций в  сети

 

В зависимости  от механизма обработки получаемых данных можно выделить целый ряд  математических моделей нейронов (рис.4). Существует две группы моделей нейронов, которые принадлежат, соответственно, двум типам сетей: классическим и  нечетким. Каждая из моделей нейронов обладает рядом присущих ей свойств, однако имеются и общие черты, к которым можно отнести наличие  входного и выходного сигналов, а  также блока их обработки.

Для решения конкретной задачи существует ряд наиболее предпочтительных моделей  нейронов. Модель нейрона МакКаллока-Питса, сигмоидальный нейрон и нейрон типа "адалайн" имеют схожие структуры и отличаются лишь видами функций активации (реакции нейрона на входящий сигнал). Вышеприведенные модели нейронов могут обучаться только с учителем, то есть требуют наличия входного и выходного векторов (значений). Так как функция активации нейрона МакКаллока-Питса дискретна (выходной сигнал может принимать только два значения - 0 или 1), то невозможно проследить за изменением значения выхода. Достижение необходимого результата в некоторых задачах может оказаться невозможным. В этом случае более предпочтительной может являться сигмоидальная модель нейрона. Модели нейронов типа "инстар" и "оутстар Гроссберга" дополняют друг друга и отличаются от вышеуказанных трех типов нейронов тем, что могут обучаться и без учителя (имея только входной вектор) ⁴.

Нейроны типа WTA (от англ. - “победитель получает всё”) чаще всего используются в  задачах классификации и распознавания  данных и образов. Они, как и модели нейронов Гроссберга, в процессе обучения также не нуждаются в учителе. Однако существенным недостатком нейронов этого типа является значительно возрастающая погрешность распознавания данных вследствие наличия мертвых нейронов, которые не смогли выжить в конкурентной борьбе. Модель нейрона Хебба схожа с моделью нейрона обычной формы (вход - блок обработки - выход). Может обучаться как с учителем, так и без него. Особенностью данной модели является то, что вес связи нейрона изменяется пропорционально произведению его входного и выходного сигналов.

 

Рис.4 Виды математических моделей нейронов

 

В стохастической модели выходное значение нейрона зависит  еще и от некоторой случайной  переменной, лежащей в интервале (0,1), что позволяет при подборе  весов снизить до минимума среднеквадратичную погрешность. Модели нейронов нечетких сетей применяются главным образом  для аппроксимации с произвольной точностью любой нелинейной функции  многих переменных и используются там, где входные данные ненадежны  и слабо формализованы.

Одна и  та же модель нейрона в разных сетях  может иметь разные функции активации (рис.5).

 

Рис.5 Функции активации нейронов

 

Однако  это высказывание справедливо не для всех типов нейронов. Так, например, персептрон может иметь только пороговую  функцию активации (функция единичного скачка). Несмотря на все многообразие функций активации, наиболее распространенной является нелинейная функция активации  с насыщением (сигмоидальная функция). Необходимо так же отметить, что  нейроны входного слоя имеют тождественные  функции активации, что позволяет  им распределять полученные сигналы  нейронам скрытого слоя без изменений⁵.

Совокупности  нейронов образуют нейронные сети. НС различаются по архитектуре (рис.6), по типу входящих в нее нейронов (рис.7), по типу обрабатываемых ею сигналов (рис.8), по типу смены состояния нейронов в момент времени (рис.9). НС различаются  так же топологией. Отметим, что статическими и динамическими НС являются однонаправленные и рекуррентные НС соответственно. Одним из отрицательных качеств  динамических НС является их возможная  неустойчивость при работе (приложение В).

Однородность  НС (использование однотипных нейронов с единой функцией активации) в различных  задачах по-разному влияет на производительность и скорость обучения НС.

 

Рис.6 Обобщенная классификация нейронных сетей с точки зрения их архитектуры

 

Рис.7 Классификация нейронных сетей по типу входящих в нее нейронов

 

Рис.8 Классификация нейронных сетей по типу обрабатываемых сигналов

 

Рис.9 Классификация нейронных сетей по типу смены состояния в момент времени

 

Рис.10 Топология (архитектура) нейронных сетей

 

Синхронность  НС означает, что в каждый момент времени только один нейрон меняет свое состояние. Асинхронность подразумевает  смену состояний у целого ряда нейронов (чаще всего - слоя). На практике большее предпочтение отдается синхронным НС.