Метод наименьших квадратов

Содержание:

Введение………………………………………………………………..3

Метод наименьших квадратов………………………………………..4

              А) суть МНК………………………………………………….4

              Б) вывод формул для нахождения коэффициентов………..4

Корреляционный анализ. Линейная корреляция. Выборочный коэффициент корреляции……………………………………………………………..5

Решение задач………………………………………………………….7

              Задача №1……………………………………………………..7

              Задача №2……………………………………………………..9

              Задача №3……………………………………………………..11

Заключение ……………………………………………………………12

Список литературы……………………………………………………13

 

 

 

 

 

 

 

 

Введение.

       Математическая статистика – наука о математических методах, позволяющих по статистическим данным, например по реализациям случайной величины (СВ), построить теоретико-вероятностную модель исследуемого явления. Задачи математической статистики являются, в некотором смысле, обратными к задачам теории вероятностей. Центральным понятием математической статистики является выборка.

       Метод наименьших квадратов (МНК, англ. Ordinary Least Squares, OLS) — математический метод, применяемый для решения различных задач, основанный на минимизации суммы квадратов некоторых функций от искомых переменных. Он может использоваться для «решения» переопределенных систем уравнений (когда количество уравнений превышает количество неизвестных), для поиска решения в случае обычных (не переопределенных) нелинейных систем уравнений, для аппроксимации точечных значений некоторой функцией. МНК является одним из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным.

       До начала XIX в. учёные не имели определённых правил для решения системы уравнений, в которой число неизвестных меньше, чем число уравнений; до этого времени употреблялись частные приёмы, зависевшие от вида уравнений и от остроумия вычислителей, и потому разные вычислители, исходя из тех же данных наблюдений, приходили к различным выводам. Гауссу (1795) принадлежит первое применение метода, а Лежандр (1805) независимо открыл и опубликовал его под современным названием (фр. Méthode des moindres quarrés). Лаплас связал метод с теорией вероятностей, а американский математик Эдрейн (1808) рассмотрел его теоретико-вероятностные приложения. Метод распространён и усовершенствован дальнейшими изысканиями Энке, Бесселя, Ганзена и других.

Метод наименьших квадратов (МНК).

А).Суть метода наименьших квадратов (МНК).

   Задача заключается в нахождении коэффициентов линейной зависимости, при которых функция двух переменных k и b  принимает наименьшее значение. То есть, при данных k и b сумма квадратов отклонений экспериментальных данных от найденной прямой будет наименьшей.

                                                  

Б).Вывод формул для нахождения коэффициентов.

     Необходимо  составить и решить систему из двух уравнений с двумя неизвестными.

     Для этого  находим частные производные  функции    

по переменным k и b, а затем приравниваем эти производные к нулю.

 

 

       Далее решаем полученную систему уравнений любым методом (например методом подстановки или методом Крамера) и получаем формулы для нахождения коэффициентов по методу наименьших квадратов (МНК).

  При данных  k  и  b  функция                                         принимает наименьшее значение.

Корреляционный анализ. Линейная корреляция. Выборочный коэффициент корреляции.

 

       Корреляционный  анализ занимается степенью связи  между двумя случайными величинами Х и Y.

       Корреляционный  анализ экспериментальных данных  для двух случайных величин  заключает в себе следующие  основные приемы:

1. Вычисление выборочных  коэффициентов корреляции.

2. Составление корреляционной  таблицы.

3. Проверка статистической  гипотезы значимости связи.

 

      Корреляционная  зависимость между случайными  величинами Х и Y называется линейной корреляцией, если обе функции регрессии f(x) и φ(x) являются линейными. В этом случае обе линии регрессии являются прямыми; они называется прямыми регрессии.

       Для  оценки тесноты линейных корреляционных  зависимостей между величинами Х и Y по результатам выборочных наблюдений вводится понятие выборочного коэффициента линейной корреляции, определяемого формулой:

                                             

                                                

где σX и σY выборочные средние квадратические отклонения величин Х и Y, которые вычисляются по формулам:

 

                

Следует отметить, что основной смысл выборочного коэффициента линейной корреляции rB состоит в том, что он представляет собой эмпирическую (т.е. найденную по результатам наблюдений над величинами Х и Y) оценку соответствующего генерального коэффициента линейной корреляции r: r=rB

 

Принимая во внимание формулы:

 

                    

видим, что выборочное уравнение линейной регрессии Y на Х имеет вид:

 

                                               

где  .

 

То же можно сказать о выборочном уравнении линейной регрессии Х на Y:

 

                                             

 

Решение задач.

Задача №1.

По пяти наблюдениям за опытом составлена таблица:

	8	2	5	6	4
	1	4	2	1	2

Написать выборочное уравнение линейной регрессии Y на Х.

Решение

Построим новую таблицу данных:

	8	2	5	6	4	25
	1	4	2	1	2	10
	8	8	10	6	8	40
	64	4	25	36	16	145
	1	16	4	1	4	26

По известным формулам находим:

= = = = 29

= = = = 5.2

= =

= = 25

=

=

=

Далее, находим выборочный коэффициент линейной корреляции:

 

Уравнение линейной регрессии Y на X:

 

 

 

Построим график:

 

 

 

 

 

 

 

 

 

 

 

Задача №2.

Постановка задачи:

По пяти наблюдениям за опытом составлена таблица:

	3	1	7	3	6
	5	6	2	4	3

Написать выборочное уравнение линейной регрессии Y на Х.

Решение:

Построим новую таблицу данных (n - количество измерений):

	3	1	7	3	6	20
	5	6	2	4	3	20
	15	6	14	12	18	65
	9	1	49	3	36	104
	25	36	4	16	9	90

По известным формулам находим:

= = = =20,8

= = = = 18

= =

= = 16

=

=

=

Далее, находим выборочный коэффициент линейной корреляции:

 

Уравнение линейной регрессии Y на X:

 

 

    - искомое уравнение

Построим график:

 

 

 

 

 

 

 

 

 

 

Задача№3.

Постановка задачи:

По пяти наблюдениям за опытом составлена таблица:

	1	4	7	3	5
	4	2	1	2	1

Написать выборочное уравнение линейной регрессии Y на Х.

Решение:

Построим новую таблицу данных (n - количество измерений):

	1	4	7	3	5	20
	4	2	1	2	1	10
	4	8	7	6	5	30
	1	16	49	9	25	100
	16	4	1	4	1	26

По известным формулам находим:

= = = =20

= = = = 5,2

= =

= = 16

=

=

=

Далее, находим выборочный коэффициент линейной корреляции:

 

Уравнение линейной регрессии Y на X:

 

 

    - искомое уравнение

 

Построим график:

 

 

 

 

 

 

 

 

Заключение.

     Метод наименьших квадратов является наиболее распространенным методом оценивания параметров уровня регрессии, и применим только для линейных относительно параметров моделей или приводимых к линейным с помощью преобразования и замены переменных.

      Необходимо отметить, что собственно методом наименьших квадратов можно назвать метод решения задачи в любой области, если решение заключается или удовлетворяет некоторому критерию минимизации суммы квадратов некоторых функций от искомых переменных. Поэтому метод наименьших квадратов может применяться также для приближённого представления (аппроксимации) заданной функции другими (более простыми) функциями, при нахождении совокупности величин, удовлетворяющих уравнениям или ограничениям, количество которых превышает количество этих величин и т. д.

        С использованием результатов корреляционного анализа исследователь может делать определённые выводы о наличии и характере взаимозависимости, что уже само по себе может представлять существенную информацию об исследуемом объекте. Результаты могут подсказать и направление дальнейших исследований, и совокупность требуемых методов, в том числе статистических, необходимых для более полного изучения объекта.

       В работе описывается лишь малая часть имеющихся в настоящее время методов для исследования и обработки различных видов статистической информации.

 

 

 

 

 

 

Список использованной литературы:

1. О.О. Замков, А.В. Толстопятенко, Р.Н. Черемных Математические методы в экономике. – М.: Дис, 1997.

2. В.Н. Калинина "Теория  вероятностей и математическая  статистика: учебник для бакалавров", 2013

3. В.Е. Гмурман "Теория вероятностей и математическая статистика: учеб пособие", 2005, перераб. 2010