Классификация данных методом опорных векторов

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И  НАУКИ, МОЛОДЕЖИ И СПОРТА УКРАИНЫ

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И  НАУКИ, МОЛОДЕЖИ И СПОРТА АРК

КРЫМСКИЙ ИНЖЕНЕРНО-ПЕДАГОГИЧЕСКИЙ УНИВЕРСИТЕТ

 

Факультет информатики

Кафедра ИКТ

 

 

 

РЕФЕРАТ

на тему:

«Классификация данных методом  опорных векторов»

 

 

 

 

Выполнила:

Студентка IV курса

Группы И-2-08

Абдураимова Диляра

 

 

 

 

Симферополь 2011 

В основе Метода опорных  векторов лежит понятие плоскостей решений, определяющих границы принятия решения. Плоскость решения разделяет  объекты с разной классовой принадлежностью. Ниже приведен схематичный пример, в котором участвуют объекты  двух типов GREEN и RED. Разделяющая линия  задает границу, справа от которой все  объекты типа GREEN, а слева типа RED. Любой новый объект (белый кружок), попадающий направо, помечается (классифицирует) как объект класса GREEN (или помечается как объект класса RED, если он расположился по левую сторону от разделяющей прямой).

Выше приведен классический пример линейного классификатора, т.е. классификатора, который разделяет  множество объектов на соответствующие  группы (в нашем случае это GREEN и RED ) прямыми. Однако, большинство задач классификации не так просты, и часто необходимо строить оптимальные разбиения множеств объектов намного более сложной структуры. Другими словами, необходимо правильно классифицировать новые объекты (тестовые наблюдения) на основе имеющегося опыта (учебных наблюдений). В сравнении с предыдущим примером видно, что для полного отделения объектов типа GREEN от объектов типа RED потребуется кривая, т.е. более сложный разделитель, чем прямая. Методы решения классификационных задач, в которых дифференциация объектов с разной классовой принадлежностью осуществляется построением разделяющих прямых, называют гиперплоскостными классификаторами. Метод опорных векторов специально предназначен для решения такого типа задач.

Нижеприведенная иллюстрация  демонстрирует основную идею Метода опорных векторов. На ней представлены исходные объекты (в левой части  схемы), которые далее преобразуются  или, по-другому, переупорядочиваются  при помощи специального класса математических функций, называемых ядрами. Этот процесс  переупорядочивания называют еще преобразованием  объектов (перегруппировкой). Отметим, что новый набор преобразованных  объектов (в правой части схемы) уже  линейно разделим. Таким образом, вместо построения сложной кривой (как  показано в левой части схемы) требуется лишь провести оптимальную  прямую, которая отделит объекты  типа GREEN от объектов типа RED.

Технические замечания 

STATISTICA Метод опорных векторов (МОВ) - метод первоначальной классификации,  который решает задачу построением  гиперплоскостей в многомерном  пространстве, разделяющих группы  наблюдений с разными классовыми  метками. STATISTICA МОВ применяется как  для регрессионных, так и для  классификационных задач с несколькими  непрерывными и категориальными  переменными. Для категориальных  переменных создается фиктивная  двоичная переменная, принимающая  значения 0 или 1. Таким образом,  категориальная зависимая переменная, с тремя различными значениями (например, A,B,C), представляется набором  фиктивных двоичных переменных:

A: {1 0 0}, B: {0 1 0}, C: {0 0 1}

Для построения оптимальных  гиперплоскостей МОВ использует итеративный минимизирующий ошибку алгоритм обучения. По типу функции ошибки МОВ модели делятся на несколько групп:

• Классификация МОВ Типа 1 (по - другому, С - МОВ классификация)
• Классификация МОВ Типа 2 (по - другому, ню - МОВ классификация)
• Регрессия МОВ Типа 1 (по - другому, эпсилон - МОВ регрессия)
• Регрессия МОВ Типа 2 (по - другому, ню - МОВ регрессия)

Кратко опишем каждую группу моделей.

Классификация МОВ

Классификация МОВ  Типа 1

Для этой группы МОВ обучение связано с минимизацией функции  ошибки вида:

с ограничениями:

где C - константа емкости, w - вектор коэффициентов, b - константа, и - параметры для обработки неразделимых наблюдений (входов), i индексирует N учебных наблюдений. Отметим, что - метка класса, x - независимая переменная. Ядро  преобразует данные из входного (независимого) пространства в пространство признаков. Обратим внимание на то, что чем больше значение C, тем выше штраф ошибки. Следовательно, при выборе значения константы C необходимо учитывать опасность переподгонки модели.

Классификация МОВ  Типа 2

В отличие от модели Классификации  МОВ Типа 1, в модели Классификации  МОВ Типа 2 минимизируется функция  ошибки:

 ограничения:

Регрессия МОВ

При построении регрессии  МОВ оценивается функциональная зависимость переменной y от набора независимых переменных x. Как и во всех регрессионных задачах, здесь предполагается, что связь между зависимыми и независимыми переменными задается детерминированной функцией f и аддитивным шумом:

y = f(x) + noise

Задача состоит в том, чтобы найти функциональное представление  для f, которое бы правильно предсказывало новые наблюдения. Цель достигается обучением МОВ модели на образцовой выборке (на учебных наблюдениях). Процесс обучения, как и в случае классификационных задач, связан с последовательной оптимизацией функции ошибки. В зависимости от вида функции ошибки различают две типа МОВ моделей:

Регрессия МОВ  Типа 1

Для этого типа МОВ моделей  функция ошибки имеет вид:

Функция минимизируется с  условиями:

Регрессия МОВ  Типа 2

Для этого типа МОВ моделей  функция ошибки имеет вид:

Функция минимизируется с  условиями:

Ядро 

STATISTICA МОВ  для построения  различных моделей методом опорных  векторов использует набор из  нескольких ядер. Он включает: линейное, полиномиальное ядро, радиальную  базисную функцию (РБФ) и сигмоидное ядро:

Наиболее часто для  построения моделей Методом опорных  векторов используется РБФ. Причина  этого заключается в том,что ее отклики имеют локальный характер и конечны на всей вещественной оси x.