Нейронные сети. Однослойный персептрон. Линейная разделимость

На сегодняшний день не существует никаких алгоритмов, с помощью которых можно было бы настроить параметры обучения под конкретную задачу: настройка производится методом проб и ошибок, и нет никакой гарантии, что в конце концов выбранные параметры настройки окажутся оптимальными.

 

2. Однослойный персептрон

 

В 1957 году Ф. Розенблатт предложил специальный тип однослойной нейронной сети, а через два года продемонстрировал созданное на её основе устройство, моделирующее человеческий глаз. Разработанное устройство, которое в качестве элементной базы имело модельные нейроны МакКаллока- Питтса, было названо персептроном. Ф. Розенблатту удалось обучить персептрон решению одной из сложнейших интеллектуальных задач, связанной с распознаванием букв латинского алфавита.

С целью обучения персептрона был построен итеративный алгоритм корректировки весов wi, с помощью которых конкретный входной распознаваемый образ трансформировался в требуемый выходной образ, а также была доказана сходимость данного алгоритма.

Рассмотрим принцип действия персептрона на примере классификации букв русского алфавита на гласные и согласные.

Рисунок 2. Персептрон, классифицирующий буквы на гласные и согласные

 

На рисунке 2, изображен простейший вариант исполнения персептрона, предназначенного для решения поставленной задачи классификации. Данный персептрон называется элементарным, поскольку использует только один нейрон МакКаллока-Питтса (Ne).

Задача персептрона, изображенного на рис. 2, заключается в том, чтобы формировать выходной сигнал y, равный единице, если на вход поступает гласная буква, и нулю, если согласная.

Для того, чтобы персептрон решал требуемую задачу он должен пройти режим обучения. Суть режима обучения заключается в настройке весов синаптических коэффициентов wi (i = 1,35) и w0 на совокупность входных образов решаемой задачи.

В отличие от используемого в традиционных компьютерах фон Неймановской архитектуры программирования алгоритма решения задачи в ИНС вместо программирования используется обучение. Основываясь на указаниях «учителя» процесс обучения в ИНС стимулирует желательные образцы активации (выходы) и блокирует нежелательные.

Обучающий набор данных для персептрона, представленного на рис. 2, должен состоять из образцов представления знаний, которым предлагается его обучить, т.е. из букв русского алфавита. В процессе обучения персептрону предъявляются эти буквы и анализируется его реакция у. Если, например, на вход персептрона поступает буква «А», а выходной сигнал у случайно оказался равным единице, означающей, что буква гласная, то корректировать веса не нужно. Однако если выход неправилен и у равен нулю, то следует увеличить веса тех активных входов, которые способствуют возбуждению персептрона. В конкретном случае (см. рисунок 2) следует увеличить веса w2, w3, w4 и др.

Одним из самых ранних и наиболее простых для обучения ИНС является алгоритм, основанный на правилах Д. Хебба. Алгоритм обучения Хебба представляет собой следующую последовательность шагов:

Шаг 1. [Инициализация]. Всем весам персептрона присваиваются некоторые малые случайные значения из диапазона [-0,1;+0,1].

Шаг 2. На вход персептрона подается текущий входной вектор X[t] = {x1 [t],x2[t],...,x35[t]} и вычисляется выход персептрона y.

Шаг 3. Если выход правильный, то перейти к шагу 2.

Шаг 4. [Первое правило Д. Хебба]. Если выход неправильный и равен нулю, то увеличить веса активных входов, например, в соответствии с формулами:

Шаг 5. [Второе правило Д. Хебба]. Если выход неправильный и равен единице, то уменьшить веса активных входов, например, в соответствии с формулами:

Шаг 6. Осуществляется переход на шаг 2 с новым входным вектором X[t+1] или процесс обучения завершается.

Нетрудно заметить, что алгоритм обучения Хебба во многом аналогичен практике обучения живых существ с помощью поощрения и наказания.

 

3. Линейная разделимость

 

Каждый нейрон персептрона является формальным пороговым элементом, принимающим единичные значения в случае, если суммарный взвешенный вход больше некоторого порогового значения:

Таким образом, при заданных значениях весов и порогов, нейрон имеет определенное значение выходной активности для каждого возможного вектора входов. Множество входных векторов, при которых нейрон активен (y=1), отделено от множества векторов, на которых нейрон пассивен (y=0) гиперплоскостью, уравнение которой есть, суть:

Следовательно, нейрон способен отделить (иметь различный выход) только такие два множества векторов входов, для которых имеется гиперплоскость, отсекающая одно множество от другого. Такие множества называют линейно разделимыми.

Рассмотрим пример. Пусть имеется нейрон, для которого входной вектор содержит только две булевые компоненты (Х1.Х2), определяющие плоскость. На данной плоскости возможные значения векторов отвечают вершинам единичного квадрата. В каждой вершине определено требуемое значение активности нейрона 0 (белая точка) или 1 (черная точка). Требуется определить, существует ли такое такой набор весов и порогов нейрона, при котором этот нейрон сможет отделить точки разного цвета.

Белые точки не могут быть отделены одной прямой от черных. Требуемая активность нейрона для этого рисунка определяется таблицей, в которой не трудно узнать задание логической функции “исключающее или”.

X1	X2	Y
0	0	0
1	0	1
0	1	1
1	1	0

 

Линейная неразделимость множеств аргументов, отвечающих различным значениям функции означает, что функция “исключающее или”, столь широко использующаяся в логических устройствах, не может быть представлена формальным нейроном. При возрастании числа аргументов относительное число функций, которые обладают свойством линейной разделимости резко уменьшается. А значит и резко сужается класс функций, который может быть реализован персептроном (так называемый класс функций, обладающий свойством персептронной представляемости).

Соответствующие данные приведены в следующей таблице:

Число переменных N	Полное число возможных логических функций	Из них линейно разделимых функций
1	4	4
2	16	14
3	256	104
4	65536	1882
5	> 1000000000	94572

 

Видно, что однослойный персептрон крайне ограничен в своих возможностях для точного представления наперед заданной логической функции.

 

 

Заключение

 

Сегодняшний уровень нейросетевого программного обеспечения и его инструментальные возможности выводят метод в ряд важнейших инструментов финансового инвестиционного анализа.

С точки зрения машинного обучения, нейронная сеть представляет собой частный случай методов распознавания образов, дискриминантного анализа, методов кластеризации и т. п. С математической точки зрения, обучение нейронных сетей — это многопараметрическая задача нелинейной оптимизации. С точки зрения кибернетики, нейронная сеть используется в задачах адаптивного управления и как алгоритмы для робототехники. С точки зрения развития вычислительной техники и программирования, нейронная сеть — способ решения проблемы эффективного параллелизма. А с точки зрения искусственного интеллекта, ИНС является основой философского течения коннективизма и основным направлением в структурном подходе по изучению возможности построения (моделирования) естественного интеллекта с помощью компьютерных алгоритмов.

Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения — одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что, в случае успешного обучения, сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке, а также неполных и/или «зашумленных», частично искаженных данных.

Следует отметить, что вычислительные системы, основанные на искусственных нейронных сетях, обладают рядом качеств, которые присущи мозгу человека: массовый параллелизм; распределённое представление информации и вычисления; способность к обучению и обобщению; адаптивность; свойство контекстуальной обработки информации; толерантность к ошибкам; низкое энергопотребление.

 

 

 

Список использованной литературы

 

1. Барский А.Б. Нейронные сети: распознавание, управление, принятие решений. - М.: «Финансы и статистика», 2011.
2. Галушкин, А. И. Нейрокомпьютеры [Текст]. – М.: ИПРЖР, 2010. – 532 с.
3. Галушкин, А. И. Теория нейронных сетей [Текст] / А. И. Галушкин. – М.: ИПРЖР, 2010. – 416 с.
4. Кутыркин А.В. Распознавание оптических образов (символов) с помощью однослойного персептрона: Методические указания — М.: МИИТ, 2005, — 19 с.
5. Розенблатт Ф. Принципы нейродинамики. Персептроны и теория механизмов мозга. - М.: Мир, 1965.
6. Сивохин, А. В. Искусственные нейронные сети [Текст] /А. В. Сивохин; учеб. пособие / под ред. профессора Б. Г. Хмелевского. – Пенза: Изд-во Пенз. гос. ун-та, 2012. – 70 с.
7. Щербаков, М. А. Искусственные нейронные сети: Конспект лекций [Текст] / М. А. Щербаков. – Пенза: Изд-во Пенз. гос. тех. ун-та, 2011. – 44 с.