Метод главных компонент кака один из приемов многомерного анализа

∆λ=( λ –λ ) ( λ – λ )….. ( λ – λ )

Теорема. Если λ λ………λ    - все характеристические числа (с учетом кратностей) матрицы A, a g(A) - некоторый скалярный многочлен, то g(λ),g(λ₂ ),...,g{λ„ ) - являются характеристическими числами матрицы g(A).

Частный случай. Дана матрица Л; λ_х, λ₂,..., λ_п - ее характеристические числа. Определить характеристические числа матрицы А .

В соответствии с теоремой g(A) = А  .

Поэтому g(λ,) = λ  g{λ₂) = λ,...,g(λ_n) = λ^k„,   (k = 0,1,2,...).

Отсюда  следует, что trA^k = S_k = , (k=0,1,2,...).

Суммы S_k (k=l,2, ... ,n) степеней корней многочлена (2) связаны с коэффициентами этого уравнения формулами Ньютона.

KP_k=S_k-P_lS_k-l-...-P_k-1S_l, (k=1,n).             (3)

Метод Леверрье. Определение коэффициентов характеристического многочлена по следам степеней матрицы заключается в следующем:

1) определяются  S_l,S₂,...,S_n - следы матрицы А, А²,..., А".

2)  по (3) последовательно определяются P₁,P₂,...,P_n.

Фаддеев в свою очередь предложил вместо следов степеней матриц А,А²,...,А вычислять последовательно следы других матриц А_1,А₂,...,А„  и с их помощью определять Р₁,Р₂,...,Р„ и В₁В₂,...Bn.

A1=A;              P1=tr(A1);              В1=А1-P1E;

A₂=AB₁            P₂=tr(A₂);               В₂=А₂-Р₂Е;

Ап-1 =АВn-₂     P = tr(An-1)    Bn-1 =A n-1 -P n-1 E          (4)                                                                         

A n=AB n-1                P n=   tr(A n)                    Bn= A n- P n E=0        

Для контроля вычислений можно воспользоваться последней формулой (Вn=0). Убедимся, что по системе (4) Р₁,Р₂,...,Р_n; В₁,В₂,...,В_п-1 последовательно определяемые, являются коэффициентами ∆(λ) и В(λ).

Используя систему (4) для А_к и В_к, (к = 1,п) получим:

Ak=A -P1A -…-Pk-1A                                (5)

Bk=A -P1A -…-Pk-1A-PkE                        (6)  

Приравняем  следы левой и правой частей (5)

KP_k=S_k-P₁S k -1 -...-P k -1S₁.                      (7)

Выражения (7) и (3) совпадают с формулами  Ньютона, по которым последовательно определяются коэффициенты характеристического многочлена ∆(λ). Значит, числа Р₁,Р₂,...,Р_п системы (4) являются коэффициентами ∆(λ).По формуле (6) определяют матричные коэффициенты В1 ,Вг ,..., В_п-1 присоединенной матрицы В(λ). Значит, система (4) определяет коэффициенты В₁,В₂,...,Вn матричного многочлена  В(λ).  
  
 

Квадратичные  формы и главные компоненты

 

Для того чтобы представить в геометрическом плане главные компоненты, рассмотрим простейшие случаи: плоскости и пространства трех измерений.

Пусть дано уравнение линии второго  порядка:

Ах² +2Вху + Су² =Н.                            (8)

Левая часть уравнения (8) не меняется при замене х, у на -х, -у. Значит, во-первых, точки линии (8) расположены парами симметрично относительно начала координат. Во-вторых, линия второго порядка, заданная (8), обладает центром симметрии и, в-третьих, начало координат помещено в центр. Левая часть (8) представляет собой однородный многочлен второй степени. Такой многочлен называют квадратичной формой от двух переменных.

Ах² +2Вху + Су².                                 (9)

Приведем данную квадратичную форму (9) к каноническому виду. Для этого  надо будет повернуть так координатные оси х и у, чтобы в новых

координатах исчез член с произведением новых  текущих координат. Переход к новым координатам производится по известным формулам:    

 х' = l1 х+т1 у                                       (10)    

 у' =l1 x+т2 у

Старые  координаты связаны с новыми по формулам:    

x=l1 x' + l2 y'    

 у = т1 х' + т2 у'                                  (11)

где х' и у' - новые координаты.

Если на новой оси абсцисс  отложить отрезок OX₁ единичной длины, тогда его проекции на старые координатные оси составят:

l1 =cos α

m1 =sin α

где а  - угол поворота осей х и у.

Значит, вектор с компонентами l1 и m1, является единичным вектором, определяющим направление новой оси абсцисс х':                                                                  

(13)

Аналогично  единичный вектор, определяющий направление  новой оси у' ординат, имеет вид:                                                                 

(14)

Рассматриваемые коэффициенты обладают следующими свойствами:

l + т² =1;                                                                        (15) 

l + т = 1;                                                                      (16)

l1 l₂ + m₁m₂ = 0;                                                                                            (17)   

l m    =1                                                                                   (18)          

    l m

Наконец  

l  m    = -1                                                                                 (19)              

l  m 

если  поворот осей совершен на α→x; (α+π)→y

Таким образом, может быть совершен поворот  осей прямоугольных координат с  неизменным масштабом. Итак, чтобы привести квадратичную форму (9) к каноническому виду, нужно в (9) величины х и у заменить согласно формуле (11). Данная квадратичная форма примет следующий канонический вид (средний коэффициент равен нулю):

λx +  λy                                                                                      (20)

т.е.

Ах² +2Вху + Су² =λ x+λ y                                                          (21)

Для решения (21) достаточно подобрать  так коэффициенты (11) и числа λ λ чтобы

A l +B m=λ l                                                 A l +B m=λ l

Bl+Cm=λm                                                   B l+C m=λ m

Значит, надо решить систему уравнений

A l +B m=λ l

B l+C m=λ m                                                                                 (22) 

В системе (22) перенесем правые части  влево и получим 

 (A-λ)l +Bm=0                                                                              (23) 

Bl+(C-λ)m=0

Определитель  данной системы 

 =0                                                                               (24)

можно представить в виде

λ² - (А + С)λ+ {АС - В²) = 0.                                                                                                 (25)

Откуда                                             

(26)   

Уравнение (24) представляет собой характеристическое уравнение квадратичной формы, а  корни этого уравнения λ , и λ ₂ являются характеристическими числами этой формы. После приведения формы к каноническому виду числа λ , и λ ₂ являются коэффициентами при неизвестных.

Так как  выражение под радикалом, равное

(А-С)² + 4В²≥0,                                                                         (27)

неотрицательно, то уравнение (24) имеет  только действительные корни. Отдельно рассмотрим случай, когда

(А-С)² + 4В²>0.                                                                                                     (28) 

При этом условии λ  λ .  Подставим в (23) λ = λ Система будет иметь ненулевое решение 1 и т.

Полученный  вектор будет иметь главное направление  квадратичной формы, которое соответствует характеристическому числу λ. По этому же главному направлению, которое соответствует числу λ , направлен и вектор l                           

                                                                                        m т.е. 

                            l=µl 

                        m = µm                                                                      (29) 

где µ   0.

Если  примем, что =_1, то по системе (29)                                                           

l² +т²=1.

Вектор   m  является единичным вектором главного направления.                                       Естественно, что вектор  m определяет другое главное направление квадратичной формы.

Согласно  выражению (17), если λ ₁  λ ₂, векторы главных направлений взаимно перпендикулярны.

Другой  случай соответствует

(А-С)² + 4В² = 0.                                                                       (30)

В данном случае   

 λ  = λ 2 = λ     

 А=С     .                                                                               (31)    

 В = 0

Из выражения (26) λ = А = С.     

Подставим в выражение (25) полученное значение λ и убедимся в том, что все коэффициенты системы обращаются в нуль. Таким образом, система (23) будет состоять из тождеств. Ей подходят любые числа l и т.

В результате можно заключить, что если λ = λ    то для квадратичной формы любое направление является главным. При повороте осей на любой угол форма сохранит свой канонический вид                                                      

Ax

При любом  преобразовании квадратичной формы  к любым прямоугольным координатам не меняются ее инварианты

А+С=А' + С                                                                                         (32)

АС-В² = А'С'-В'²

Согласно  теореме Виета

АС-В²= λ ₁ λ ₂.                                                                               (33)

1.   Если λ 0; λ ₂  0 имеют одинаковые знаки, то квадратичная форма называется эллиптической:                                                                  

 АС-В²>0.                          (34)

2.  Если  λ  0; λ ₂   0, но знаки у них разные, то форма называется гиперболической:                                                               

 АС-В²<0.                             (35)

3.  Если  одно из чисел λ , λ _г равно нулю, т.е. АС-В² =0, то форма называется параболической.

В методе главных компонент  характеристические числа по своему физическому смыслу не могут равняться нулю и быть отрицательными. Значит, λ >0 и λ ₂ >0. В этом случае квадратичная форма будет называться положительно определенной эллиптической формой. 

 
  
  
  
  
  
  
  
                                         

 

 

Заключение

 

 

 Подводя  итог всему выше сказанному  можно сказать о том, что  наличие множества исходных признаков, характеризующих процесс функционирования объектов, заставляет отбирать из них наиболее существенные и изучать меньший набор показателей. Чаще исходные признаки подвергаются некоторому преобразованию, которое обеспечивает минимальную потерю информации. Такое решение может быть обеспечено методами снижения размерности, куда относят факторный и компонентный анализ. Эти методы позволяют учитывать эффект существенной многомерности данных, дают возможность лаконичного или более простого объяснения многомерных структур. Они вскрывают объективно существующие, непосредственно не наблюдаемые закономерности при помощи полученных факторов или главных компонент. Они дают возможность достаточно просто и точно описать наблюдаемые исходные данные, структуру и характер взаимосвязей между ними. Сжатие информации получается за счет того, что число факторов или главных компонент – новых единиц измерения – используется значительно меньше, чем было исходных признаков.  
  
  
  
  
  
  
  
  
  
 

 

МИНИСТЕРСТВО ОБРАЗОВАНИЯ  И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ