Нейрокомпьютерные системы

В таблице 1 представлена сравнительная  характеристика зарубежных и отечественных  методов настройки многослойных нейронных сетей.

Определенная  общность отечественных методов  развития теории нейронных сетей  позволила создать единый подход к разработке нейросетевых алгоритмов решения самых разнообразных задач, сформировав новое направление в вычислительной математике - нейроматематику. Эта область связана с разработкой алгоритмов решения математических задач в нейросетевом логическом базисе. Необходимо отметить, что передовая в этом направлении американская школа разработки нейрокомпьютеров уже трижды в истории развития вычислительной техники совершала принципиальные ошибки.

 

 

 

 

 

 

Таблица 2. Сравнение метода обратного распространения  и российских методов адаптации  в многослойных нейронных сетях

NN		Признак			Российские методы адаптации в многослойных нейронных  сетях	Метод обратного распространения		Примечание
1		Срок разработки и опубликования			1965 - 1971,1970 - 1974	1976 - 1984
Характеристики входных сигналов
2		Число классов образов (градаций по уровню сигнала указаний учителя  о принадлежности входных образов полученному классу)			2, К, континуум	2
3		Характеристика стационарности входных образов как случайных сигналов			стационарные, нестационарные	стационарные
4		Характеристика "квалификации" учителя			произвольная	обучение (в=1) редко самообучение (в=0)
5		Собственное мнение учителя о своих способностях			+	-
6		Априорные вероятности появления классов образов			произвольные	равные
Характеристика пространства решений
7		Количество решений			2, К, континуум	2		для любого варианта числа классов
8		Априорная информация об условной плотности распределения вероятностей относительно образов классов			может быть учтена	не учитывается
Критерии первичной оптимизации
9		Класс критериев первичной оптимизации		средняя функция риска, без учета и при наличии  ограничений на составляющие для  различных классов, максимум апостериорной информации и другие критерии			Энергетическая функция, среднеквадратическая ошибка	Российская методика: - min R (средней функции риска) - min R при (составляющей средней функции риска) - min R при и др.
10	Матрица (функция) потерь			произвольная			диагональная симметричная
Структуры многослойных нейронных  сетей
11	Типы структур многослойных нейронных сетей		многослойные нейронные сети с полными, и неполными последовательными, перекрестными и обратными связями. Произвольные структуры, адекватные решаемым задачам				трехслойные сети с полными последовательными связями
Функционал вторичной оптимизации
12	Метод выбора функционала вторичной  оптимизации, соответствующего функционалу  первичной оптимизации		+				-
Методы поиска экстремума функционала  вторичной оптимизации
13	Использование Комбинированных (градиентных  и случайных методов поиска)		+				-
14	Использование метода стохастической аппроксимации		+				-
15	Учет информации об ограничениях на настраиваемые коэффициенты (например, по величине или скорости изменения)		+				-
16	Возможность использования поисковых колебаний		+				-
17	Возможность фильтрации в контуре адаптации при оценке градиента функционала вторичной оптимизации		+				-
18	Выбор начальных условий в контуре адаптации весовых коэффициентов		+				-
Типовые входные сигналы
19	Выбор типовых входных сигналов		+				-

 

Первая  из них была сделана в 60-е годы, когда создавались нейрокомпьютеры  с ориентацией на элементную базу с адаптацией весовых коэффициентов. Российская школа приняла тогда  концепцию разработки нейрокомпьютеров, в которых рабочая, распознающая часть, реализовывалась в виде аналогового  блока с фиксированными или перестраиваемыми коэффициентами, а блок адаптации  реализовывался на универсальных ЭВМ¹⁸.

Вторая ошибка была связана с публикацией работы Минского и Пейперта "Персептроны", где показывалась, якобы, невозможность  решения на двухслойной нейронной  сети задачи реализации "исключающего или". Российские специалисты, владея в то время общей методикой настройки многослойных нейронных сетей, продолжая работы в этой области, наблюдали практически полное их отсутствие за рубежом вплоть до середины 80-х годов.

Третья ошибка связана с тем, что в работах  американских ученых решение отдельных  математических задач в нейросетевом логическом базисе ориентируется на частные нейросетевые парадигмы. В наших работах общий метод синтеза нейронных сетей позволил создать и развивать в дальнейшем единую методику решения любых математических задач, создавая нейроматематику - новый раздел вычислительной математики.

2.3 Нейроматематика

 

Всегда звучит вопрос: для какого класса задач  наиболее эффективно применение того или иного вычислительного устройства, построенного по новым признакам. По отношению к нейрокомпьютерам ответ  на него постоянно меняется в течение  уже почти 50 лет.

Долгое время  считалось, что нейрокомпьютеры  эффективны для решения неформализуемых и плохо формализуемых задач, связанных с необходимостью включения в алгоритм решения задач процесса обучения на реальном экспериментальном материале - распознавания образов. Конечно неформализуемые задачи являются важным аргументом использования нейрокомпьютеров. Однако необходимо помнить, что это всего лишь частная постановка аппроксимации функций, заданных некоторым множеством значений. При этом главное, что для аппроксимации используются не прежние статистические, в частности, регрессионные, а гибкие нелинейные нейросетевые модели.

Сегодня к  этому классу задач добавляется  второй класс задач, иногда не требующих  обучения на экспериментальном материале, но хорошо представимых в нейросетевом логическом базисе - это задачи с ярко выраженным естественным параллелизмом: обработка сигналов и обработка изображений. В истории вычислительной техники всегда были задачи, не решаемые компьютерами текущего уровня развития и для них переход к нейросетевому логическому базису характерен в случае резкого увеличения размерности пространства решения или необходимости резкого сокращения времени. Различают три раздела нейроматематики: общая, прикладная и специальная.

Такие казалось бы простые задачи, как сложение чисел, умножение, деление, извлечение корня, обращение чисел и т.п. многие авторы пытаются решить с помощью нейрокомпьютеров. Действительно, при ориентации на нейросетевую физическую реализацию алгоритмов эти операции можно реализовать значительно эффективнее, чем на известных булевских элементах. В нейронных сетях это функции активации, поэтому сегодня много говорят о решении систем линейных уравнений и неравенств, обращении матриц, сортировки с помощью нейрокомпьютерных технологий.

 

2.4 Прикладная нейроматематика

 

Как правило множество задач прикладной нейроматематики не решается известными типами вычислительных машин.

Это задачи, достаточно просто сводимые к обработке  нейронной сетью многомерных  векторов вещественных переменных, например:

контроль  кредитных карточек. Сегодня 60% кредитных  карточек в США обрабатываются с  помощью нейросетевых технологий;

система скрытого обнаружения веществ с помощью  системы на базе тепловых нейронов и с помощью нейрокомпьютера  на заказных цифровых нейрочипах. Подобная система фирмы SAIC эксплуатируется уже во многих аэропортах США при досмотре багажа для обнаружения наркотиков, взрывчатых веществ, ядерных и других материалов;

система автоматизированного  контроля безопасного хранения ядерных  изделий.

Наиболее  перспективными задачами обработки  изображений нейрокомпьютерами  являются обработка аэрокосмических  изображений (сжатие с восстановлением, сегментация, контрастирование и обработка  текстур), выделение на изображении  движущихся целей, поиск и распознавание  на нем объектов заданной формы, обработка  потоков изображений, обработка  информации в высокопроизводительных сканерах.

В первую очередь  это класс задач, связанных с  прогнозированием временных зависимостей:

прогнозирование финансовых показателей;

прогнозирование надежности электродвигателей;

упреждение  мощности АЭС и прогнозирование  надежности систем электропитания на самолетах;

обработка траекторных  измерений.

При решении  этих задач сейчас все переходят  от простейших регрессионных и других статистических моделей прогноза к  существенно нелинейным адаптивным экстраполирующим фильтрам, реализованным в виде сложных нейронных сетей.

При обработке  гидролокационных сигналов нейрокомпьютеры  применяются при непосредственной обработке сигнала, распознавании  типа надводной или подводной  цели, определении координат цели. Сейсмические сигналы по структуре  весьма близки к гидролокационным. Обработанные нейрокомпьютером позволяют получить с достаточной точностью данные о координатах и мощности землетрясения или ядерного взрыва. Нейрокомпьютеры начали активно использовать при обработке сейсмических сигналов в нефтегазоразведке. В Международном обществе по нейронным сетям для этого создана специальная группа.

Нейрокомпьютеры в системах управления динамическими  объектами - это одна из самых перспективных, областей применения нейрокомпьютеров. По крайней мере США и Финляндия ведут работы по использования нейрокомпьютеров для управления химическими реакторами. В нашей стране этим не занимались, в частности, по причине морального устаревания существующих реакторов и нецелесообразности совершенствования их систем управления.

Перспективной считается разработка нейрокомпьютера  для управления двигательной установкой гиперзвукового самолета. Фактически единственным вариантом реализации высокопараллельной вычислительной системы управления зеркалами (100-400 зеркал) адаптивного составного телескопа сегодня является нейрокомпьютер. Адаптивные режимы управления этим сложным объектом по критерию обеспечения максимального высокого качества изображения и компенсации атмосферных возмущений может обеспечить мощный нейрокомпьютер, в свою очередь реализующий адаптивный режим собственного функционирования.

Весьма адекватной нейрокомпьютеру является задача обучения нейронной сети выработке точного маневра истребителя. Обучение системы с достаточно слабой нейронной сетью требовало 10 часов на ПК 386. Тоже можно сказать и о задаче управления роботами: прямая, обратная кинематические и динамические задачи, планирование маршрута движения робота. Переход к нейрокомпьютерам здесь связан в первую очередь с ограниченностью объемов размещения вычислительных систем, а также с необходимостью реализации эффективного управления в реальном масштабе времени.

Необходимость реализации экспертных систем в нейросетевом логическом базисе возникает при значительном увеличении числа правил и выводов. Примерами реализации конкретных нейросетевых экспертных систем могут служить система выбора воздушных маневров в ходе воздушного боя и медицинская диагностическая экспертная система для оценки состояния летчика¹⁹.

2.5 Нейрочипы и нейрокомпьютеры

 

В 1995 году была завершена разработка первого отечественного нейрокомпьютера на стандартной  микропроцессорной элементной базе, а сегодня проводится разработка на базе отечественных нейрочипов, в том числе супернейрокомпьютера для решения задач, связанных с системами уравнений математической физики: аэро-, гидро-, и газодинамики.

Главный результат  разработки нейросетевого алгоритма решения задачи - возможность создания архитектуры нейрочипа, адекватного решаемой задаче. Можно с уверенностью сказать что программная эмуляция нейросетевых алгоритмов на вычислительных средствах, реализованных на элементной базе, не имеющей отношения к нейросетевому логическому базису, либо неэффективна, либо представляет собой временное явление. Для эмуляции нейросетевых алгоритмов с использованием универсальных микропроцессорных средств эффективнее создать архитектуры, ориентированные на выполнение нейросетевых операций, чем использовать стандартные, ориентированные на модификацию однопроцессорных алгоритмов решения задач.

В отличие  от других направлений развития сверхвысокопроизводительной  вычислительной техники нейрокомпьютеры  дают возможность вести отечественные  разработки с использованием имеющегося потенциала электронной промышленности. Необходимо отметить ряд важных особенностей данных работ:

• это направление позволяет создать уникальные суперкомпьютеры на отечественной элементной базе, поскольку для них не так важен уровень развития технологии;
• разработки нейрочипов и нейрокомпьютеров характеризуются переходом от цифровой обработки к аналого-цифровой и аналоговой с целью резкого увеличения отношения производительность/цена при контролируемой точности вычислений;
• для разработки нейрочипов больше подходит полузаказная технология, нежели заказная, из-за относительной "сырости" идей архитектуры алгоритмов и нейрочипов, нехватки времени и средств для проведения работ;
• нейросетевые архитектуры по сравнению с другими приводят к активизации использования новых технологических направлений реализации: нейросистемы на пластине, оптоэлектронные и оптические нейрокомпьютеры, молекулярные нейрокомпьютеры и нанонейроэлементы;

• возникает потребность в универсализации САПР нейрочипов. Сейчас основное внимание разработчиков нейрочипов сосредоточено на системах Компас и SPICE, которые становятся базовыми для таких предприятий как НИИ "Квант", АО "Ангстрем", "Ангстрем РТМ", НИИМЭ, НИИ "Научный центр", НИИМА "Прогресс";

• рождение технологии систем на пластине и нанотехнологии приведет к появлению новых сверхпараллельных архитектур. Уже сейчас ясна адекватность нейросетевых архитектур технологии на пластине (американская и японская разработки). Поэтому попытки на уровне наноэлементов делать функциональные блоки со старой архитектурой, соответствующей однопроцессорным машинам, можно считать бесплодными. Начиная с нанонейроэлементов, мы вплотную подходим к другим принципиально новым архитектурным элементам, образующим сверхпараллельные высокопроизводительные вычислительные системы.

Нейрокомпьютеры являются перспективным направлением развития современной высокопроизводительной вычислительной техники, а теория нейронных  сетей и нейроматематика представляют собой приоритетные направления российской вычислительной науки, и при соответствующей поддержке, в ближайшее время станут интенсивно развиваться²⁰.