Метод наименьших квадратов (МНК)

Метод наименьших квадратов (МНК)

Метод наименьших квадратов (МНК, OLS, Ordinary Least Squares) — один из базовых методов регрессионного анализа для оценки неизвестных  параметров регрессионных моделей  по выборочным данным. Метод основан  на минимизации суммы квадратов остатков регрессии.

Необходимо отметить, что  собственно методом наименьших квадратов  можно назвать метод решения  задачи в любой области, если решение  заключается или удовлетворяет  некоторому критерию минимизации суммы  квадратов некоторых функций от искомых переменных. Поэтому метод наименьших квадратов может применяться также для приближённого представления (аппроксимации) заданной функции другими (более простыми) функциями, при нахождении совокупности величин, удовлетворяющих уравнениям или ограничениям, количество которых превышает количество этих величин и т. д.

Сущность  МНК

Пусть задана некоторая (параметрическая) модель вероятностной (регрессионной) зависимости между (объясняемой) переменной y и множеством факторов (объясняющих переменных) x

где — вектор неизвестных параметров модели

 — случайная ошибка  модели.

Пусть также  имеются выборочные наблюдения значений указанных переменных. Пусть   — номер наблюдения ( ). Тогда — значения переменных в -м наблюдении. Тогда при заданных значениях параметров b можно рассчитать теоретические (модельные) значения объясняемой переменной y:

Тогда можно  рассчитать остатки регрессионной  модели — разницу между наблюдаемыми значениями объясняемой переменной и теоретическими (модельными, оцененными):

Величина остатков зависит от значений параметров b.

Сущность МНК (обычного, классического) заключается  в том, чтобы найти такие параметры b, при которых сумма квадратов  остатков (англ. Residual Sum of Squares) будет минимальной:

где:

В общем случае решение этой задачи может осуществляться численными методами оптимизации (минимизации). В этом случае говорят о нелинейном МНК (NLS или NLLS — англ. Non-Linear Least Squares). Во многих случаях можно получить аналитическое решение. Для решения задачи минимизации необходимо найти стационарные точки функции , продифференцировав её по неизвестным параметрам b, приравняв производные к нулю и решив полученную систему уравнений:

Если случайные  ошибки модели имеют нормальное распределение, имеют одинаковую дисперсию и некоррелированы между собой, МНК-оценки параметров совпадают с оценками метода максимального правдоподобия (ММП).

МНК в случае линейной модели

Пусть регрессионная  зависимость является линейной:

Пусть y — вектор-столбец  наблюдений объясняемой переменной, а  — это -матрица наблюдений факторов (строки матрицы — векторы значений факторов в данном наблюдении, по столбцам — вектор значений данного фактора во всех наблюдениях). Матричное представление линейной модели имеет вид:

Тогда вектор оценок объясняемой переменной и вектор остатков регрессии будут равны

соответственно сумма  квадратов остатков регрессии будет  равна

Дифференцируя эту функцию  по вектору параметров и приравняв  производные к нулю, получим систему  уравнений (в матричной форме):

В расшифрованной матричной форме эта система уравнений выглядит следующим образом:

 где все суммы берутся  по всем допустимым значениям  .

Если в модель включена константа (как обычно), то  при  всех , поэтому в левом верхнем  углу матрицы системы уравнений  находится количество наблюдений , а в остальных элементах первой строки и первого столбца — просто суммы значений переменных: и первый элемент правой части системы — .

 

Решение этой системы уравнений  и дает общую формулу МНК-оценок для линейной модели:

Для аналитических целей  оказывается полезным последнее  представление этой формулы (в системе  уравнений при делении на n, вместо сумм фигурируют средние арифметические). Если в регрессионной модели данные центрированы, то в этом представлении  первая матрица имеет смысл выборочной ковариационной матрицы факторов, а вторая — вектор ковариаций факторов с зависимой переменной. Если кроме того данные ещё и нормированы на СКО (то есть в конечном итоге стандартизированы), то первая матрица имеет смысл выборочной корреляционной матрицы факторов, второй вектор — вектора выборочных корреляций факторов с зависимой переменной.

Немаловажное свойство МНК-оценок для моделей с константой —  линия построенной регрессии  проходит через центр тяжести  выборочных данных, то есть выполняется равенство:

В частности, в крайнем  случае, когда единственным регрессором  является константа, получаем, что МНК-оценка единственного параметра (собственно константы) равна среднему значению объясняемой переменной. То есть среднее  арифметическое, известное своими хорошими свойствами из законов больших чисел, также является МНК-оценкой — удовлетворяет критерию минимума суммы квадратов отклонений от неё.

Простейшие  частные случаи

В случае парной линейной регрессии  , когда оценивается линейная зависимость одной переменной от другой, формулы расчета упрощаются (можно обойтись без матричной алгебры). Система уравнений имеет вид:

Отсюда несложно найти  оценки коэффициентов:

Несмотря на то что в общем случае модели с  константой предпочтительней, в некоторых случаях из теоретических соображений известно, что константа должна быть равна нулю. Например, в физике зависимость между напряжением и силой тока имеет вид ; замеряя напряжение и силу тока, необходимо оценить сопротивление. В таком случае речь идёт о модели . В этом случае вместо системы уравнений имеем единственное уравнение

Следовательно, формула оценки единственного коэффициента имеет вид

Пример. Экспериментальные данные о значениях переменных  х и у приведены в таблице.

 В результате их выравнивания получена функция  

 Используя   метод наименьших квадратов , аппроксимировать эти данные  линейной зависимостью y=ax+b (найти  параметры а и b). Выяснить, какая  из двух линий лучше (в смысле  метода наименьших квадратов)  выравнивает экспериментальные данные. Сделать чертеж.

Суть метода наименьших квадратов (МНК)

 Задача заключается  в нахождении коэффициентов линейной  зависимости, при которых функция  двух переменных а и b принимает наименьшее значение. То есть, при данных а и b сумма квадратов

отклонений  экспериментальных данных от найденной  прямой будет наименьшей. В этом вся суть метода наименьших квадратов.

 Таким образом,  решение примера сводится к  нахождению экстремума функции  двух переменных.

Вывод формул для нахождения коэффициентов

 Составляется  и решается система из двух  уравнений с двумя неизвестными. Находим частные производные  функции   по переменным а и b, приравниваем эти производные к нулю.

Решаем полученную систему уравнений любым методом (например методом подстановки или методом Кремера) и получаем формулы для нахождения коэффициентов по методу наименьших квадратов (МНК).

 

 При данных  а  и  b  функция  принимает наименьшее значение. Доказательство этого факта приведено ниже по тексту в конце страницы .

 Вот и  весь метод наименьших квадратов.  Формула для нахождения параметра  a содержит суммы , , , и параметр n - количество экспериментальных данных. Значения этих сумм рекомендуем вычислять отдельно. Коэффициент b находится после вычисления a.

 Пришло время вспомнить про исходный пример.

Решение.

 В нашем  примере  n=5 . Заполняем таблицу  для удобства вычисления сумм, которые входят в формулы искомых  коэффициентов. 

 Значения  в четвертой строке таблицы  получены умножением значений 2-ой  строки на значения 3-ей строки для каждого номера  i .

 Значения  в пятой строке таблицы получены  возведением в квадрат значений 2-ой строки для каждого номера  i .

 Значения  последнего столбца таблицы –  это суммы значений по строкам.

 Используем  формулы метода наименьших квадратов для нахождения коэффициентов а и b. Подставляем в них соответствующие значения из последнего столбца таблицы:

 

 Следовательно, y = 0.165x+2.184 - искомая аппроксимирующая  прямая.

 

 Осталось  выяснить какая из линий y = 0.165x+2.184 или  лучше аппроксимирует исходные данные, то есть произвести оценку методом наименьших квадратов.

Оценка  погрешности метода наименьших квадратов

 Для этого  требуется вычислить суммы квадратов  отклонений исходных данных от  этих линий   и , меньшее значение соответствует линии, которая лучше в смысле метода наименьших квадратов аппроксимирует исходные данные.

 

 Так как  , то прямая y = 0.165x+2.184 лучше приближает  исходные данные.

Графическая иллюстрация метода наименьших квадратов (мнк)

 На графиках  все прекрасно видно. Красная линия – это найденная прямая y = 0.165x+2.184, синяя линия – это , розовые точки – это исходные данные.

 Для чего  это нужно, к чему все эти  аппроксимации? 

 Я лично  использую для решения задач  сглаживания данных, задач интерполяции и экстраполяции (в исходном примере могли бы попросить найти значение наблюдаемой величины y при x=3 или при x=6 по методу МНК). Но подробнее поговорим об этом позже в другом разделе сайта.

 Доказательство.

 Чтобы при  найденных а и b функция принимала наименьшее значение, необходимо чтобы в этой точке матрица квадратичной формы дифференциала второго порядка для функции была положительно определенной. Покажем это.

 Дифференциал  второго порядка имеет вид:

 

 

 То есть

 Следовательно,  матрица квадратичной формы имеет вид

 причем значения  элементов не зависят от  а   и  b .

 Покажем,  что матрица положительно определенная. Для этого нужно, чтобы угловые  миноры были положительными.

 Угловой  минор первого порядка  . Неравенство строгое, так как точки несовпадающие. В дальнейшем это будем подразумевать.

 Угловой  минор второго порядка

 

 Докажем,  что   методом математической индукции.

1. Проверим справедливость неравенства для любого значения n, например для n=2.

 Получили верное неравенство  для любых несовпадающих значений и .

2. Предполагаем, что неравенство верное для n.

  - верное.

 Докажем, что неравенство  верное для n+1.

 

 То есть, нужно доказать, что  исходя из предположения что - верное.

 Поехали.

 

 Выражение в фигурных  скобках положительно по предположению пункта 2), а остальные слагаемые положительны, так как представляют собой квадраты чисел. Этим доказательство завершено.

 Вывод : найденные значения  а  и  b  соответствуют наименьшему  значению функции  , следовательно, являются искомыми параметрами для метода наименьших квадратов.