Эконометрика

Пусть Y – объясняемая переменная,  X₁, X₂…X_k – факторы, влияющие на Y.

Имеется выборка из n наблюдений следующего вида:

y1	x11	x21	…..	xk1
y2	x12	x22	…..	xk2
…..	….	….	…..	…
yn	x1n	x2n	…..	xkn

Модель МЛР в этом случае имеет вид:

Y = a + b₁*X₁ + b₂*X₂ +…+b_k*X_k +ε.

Параметрами регрессии, которые необходимо определить, являются числа

 a, b₁, b₂,…b_k.  При этом интерпретация этих параметров такова: коэффициент регрессии b_i  показывает, насколько изменится Y  в своих единицах, если фактор X_i изменится на единицу в своих единицах при неизменном значении всех остальных факторов.

Пусть к примеру Z – стоимость квартиры в тыс. долларов, S –общая площадь квартиры,  S₁ – жилая площадь, S₂ –площадь кухни (в м²).   Здесь Z – объясняемая переменная, а S,  S₁ и S₂ – факторы.   Необходимо построить модель, которая позволила бы прогнозировать стоимость квартиры при заданных общей, жилой площади и площади кухни.

Можно построить ПЛР Z на S.

Получим Z=a+b*S.  Здесь параметр b  показывает, насколько изменится стоимость квартиры (в тыс. $) при изменении общей площади на 1м² . Однако более точную информацию о ситуации  на рынке жилья можно получить, если построить модель МЛР, использую 2 фактора S₁ и S₂.

Рассмотрим такую модель: Z=a+b₁*S₁+b₂*S₂.  Здесь параметр b₁ дает возможность определить изменение цены на квартиру при изменении  площади комнат на 1 м² при неизменной площади кухни, а параметр b₂ – характеризует изменение цены при изменении площади кухни на 1 м², если площадь комнат не изменилась.  Ясно, что эта информация более полно характеризует тенденции на рынке жилья.

1. Метод наименьших квадратов для нахождения параметров множественной линейной регрессии.

Итак, пусть задана выборка  из n значений объясняемой переменной, рассматривается влияние k факторов, т.е. задана (k+1)-мерная СВ

Для нахождения параметров МЛР составим систему n линейных уравнений с k+1 неизвестными: (уравнений столько же, сколько наблюдений, неизвестных – на 1 больше, чем факторов.)

y₁=a + b₁*x₁₁ + b₂*x₂₁ +…+b_k*x_k1           e₁ = y₁- (a + b₁*x₁₁ + b₂*x₂₁ +…+b_k*x_k1)

y₂=a + b₁*x₁₂ + b₂*x₂₂ +…+b_k*x_k2        e₂ = y₂- (a + b₁*x₁₂ + b₂*x₂₂ +…+b_k*x_k2)

……………………………

y_n=a + b₁*x_1n + b₂*x_2n +…+b_k*x_kn        e_n = y_n-(a + b₁*x_1n + b₂*x_2n +…+b_k*x_kn)

Очевидно, что если количество уравнений меньше, чем число неизвестных, (n< k+1), т.е.если факторов столько же или больше, чем наблюдений, то система имеет бесконечно много решений.  Если есть 3 наблюдения, то никак нельзя рассматривать 3 или больше  факторов  - система будет иметь бесконечно много решений, которые абсолютно бессмысленны..  Если рассмотреть в этом случае 2 фактора, то получим систему 3 уравнений с 3 неизвестными, которую вообще говоря можно решить точно,  т.е. в этом случае  e_i i=1,2,3 будут равны 0, ESS=0,  следовательно будет получена точная подгонка, т.е. модель опишет полную вариацию объясняемой переменной.  Однако  смысла в такой регрессии нет, так как это полный аналог построения ПЛР по двум наблюдениям. Если добавить еще одно наблюдение, то получим систему 4 уравнений с тремя неизвестными. Такая система может быть решена точно, только если все 4 точки лежат на одной плоскости, что маловероятно. Такую систему, как и в случае ПЛР следует решать МНК (ESS>0). (Но если добавить 4-ый фактор, то снова можно получить ESS=0!) Числом степеней свободы в МЛР называется величина  
ν=n-m-1. Если число степеней свободы мало, то статистическая надежность регрессии будет низкой.  Важное замечание -  считается, что число наблюдений должно быть как минимум в три раза больше, чем число оцениваемых параметров (в некоторых источниках – даже в 5 раз!).   Это означает, что если требуется построить модель с тремя факторами, то число наблюдений должно быть порядка 20.

Как и в случае ПЛР  для решения системы n линейных уравнений с (k+1) неизвестным используем метод наименьших квадратов, т.е. будем искать минимум функции

Аналогично случаю ПЛР  строится система нормальных уравнений, решение которой позволяет определить параметры регрессии.

2. Оценка качества уравнения МЛР.

 Для оценки качества  регрессии строим TSS, RSS, ESS, коэффициент детерминации. 

Ясно, что в МЛР ESS можно сделать равным нулю просто за счет увеличения количества факторов.  Поэтому оценить качество регрессии только по R²  невозможно.  Для МЛР вводится нормированный (скорректированный)  R² - R²_adj = 1- (1- R²)*(n-1)/(n-k-1).   Здесь n –число наблюдений, k – количество факторов. Для  k=2  R²_adj = 1- (1- R²)*(n-1)/(n-3).  

Свойства коэффициента детерминации R²  и скорректированного коэффициента детерминации для R²_adj  для МЛР.

1. При добавлении факторов в модель  R² возрастает. 
2. R² > R²_adj при k>1.  R²_adj может убывать при добавлении факторов.

Пример:  20 наблюдений, 4 фактора.  R² =0,6.  R²_adj =1-0,4*19/15=0,49  Добавили еще один фактор. R² –увеличился и стал равным 0,61.  При этом R²_adj =1-0,39*19/14=0,47.  Добавление 5-ого фактора позволило дополнительно  объяснить полную вариацию Y на 1%, однако при этом скорректированный коэффициент детерминации уменьшился, и следовательно статистическая достоверность модели  с 5-ю факторами хуже, чем модели с 4-мя факторами.

3. R²_adj ≤ 1, но может принимать отрицательные значения.

3. Отбор факторов для построения модели МЛР.

1. Факторы должны быть количественно измеримы.  Для изучения влияния качественных признаков (пол, наличие высшего образования и пр.), которые также бесспорно существенны, необходим процесс их преобразования в количественные, т.е. ввод фиктивных переменных. (Об этом речь пойдет позднее).
2. Факторы должны быть НЕЗАВИСИМЫ. В противном случае невозможно определить влияние каждого из них отдельно.  Действительно, построим  модель МЛР для Z –стоимости квартиры, рассматривая все три фактора: S –общая площадь квартиры,  S₁ – жилая площадь, S₂ –площадь кухни (в м²). 

Получим: Z=a+ b*S + b₁*S₁ + b₂*S₂. По идее здесь b – это изменение цены на квартиру при увеличении общей площади на 1 м² при неизменной площади комнат и площади кухни. Ясно, что такое практически невозможно, и следовательно параметры такой регрессии нельзя достоверно интерпретировать.   Более того, в такой модели как правило один из параметров b,  b_1, b₂ получается отрицательным, что противоречит здравому смыслу.  Ситуация, в которой факторы не являются независимыми, называется МУЛЬТИКОЛЛИНЕАРНОСТЬ.  Ее признаки и способы устранения обсудим позже. 

3. Математическое ожидание ошибки  M(e)=0.
4. D(e_i)=σ² –не должно быть гетероскедастичности.   (Тест – Гольдфельда позволяет проверить на гетероскедастичность).
5. M(e_i*e_j)=0 – отсутствие автокорреляции.   Статистика  Дарбина – Уотсона позволяет установить наличие или отсутствие автокорреляции.

         В случае, когда все условия  выполнены, оптимальные параметры МЛР определяются по методу наименьших квадратов, как и в ПЛР.

4. МЛР в EXCEL.

Пусть Y – объясняемая переменная,  X₁, X₂…X_k – факторы, влияющие на Y.

Модель имеет вид:   Y = a + b₁*X₁ + b₂*X₂ +…+b_k*X_k +ε.

Пусть имеется набор  данных:

y1	x11	x21	…..	xk1
y2	x12	x22	…..	xk2
…..	….	….	…..	…
yn	x1n	x2n	…..	xkn

 

Для построения параметров МЛР – СЕРВИС-АНАЛИЗ ДАННЫХ –  Регрессия

Данные на входе – 

Входной интервал по Y – массив значений объясняемой переменной;

Входной интервал по X – матрица, состоящая из k столбцов значений для   k факторов.

Остальные параметры  на входе – те же, что и ПЛР.

В выводе итогов – первые два блока идентичны  соответствующим  блокам для ПЛР.

Третий блок:

ВЫВОД ИТОГОВ
Регрессионная статистика
Множественный R	0,881106186
R-квадрат	0,77634811
Нормированный R-квадрат	0,701797481
Стандартная ошибка	6,752386869
Наблюдения	9	n
Дисперсионный анализ
	df	SS	MS	F	Значимость F
Регрессия RSS	2	949,6199118	474,81	10,4137	0,011187
Остаток   ESS	6	273,5683706	45,59473
Итого       TSS	8	1223,188282
	Коэффициенты	Стандартная ошибка	t-статистика	P-Значение	Нижние 95%		Нижние 95,0%	Верхние 95,0%
Y-пересечение	2,143397631	15,09188281	0,142023	0,891711	-34,7851		-34,7851	39,07193
Жилая площадь	1,14701091	0,31273602	3,667665	0,010483	0,381773		0,381773	1,912249
Площадь кухни	0,556089113	1,723781064	0,322598	0,757945	-3,66185		-3,66185	4,774033

 

P-значение для каждого из коэффициентов – это вероятность того, что для генеральной совокупности этот коэффициент равен 0, т.е. соответствующий фактор не оказывает влияния на объясняемую переменную.

К примеру  при построении  модели зависимости стоимости квартиры от жилой площади и площади кухни получены следующие результаты:

Значимость  F – 0,011

P-значение для фактора «жилая площадь» (b1) -0,01

P-значение для фактора «площадь кухни» (b2) -0,05

Вывод: модель, зависящая  от двух факторов значима с надежностью 98%

5. Методы построения модели МЛР.

Существует несколько  технологий построения модели МЛР  – при этом универсального метода не существует.

1 метод – метод включения.  Рассматриваем объясняемую переменную и выбираем из экономических соображений тот из факторов, который оказывает на нее наиболее сильное влияние.  Строим модель ПЛР.  Оцениваем ее значимость и коэффициент детерминации.  Далее – добавляем последовательно по одному другие факторы.  При этом каждый раз вновь рассматриваем

1. коэффициент детерминации  R²- он должен возрасти, и его увеличение  позволяет оценить, какую часть полной вариации объясняемой переменной удалось дополнительно оценить за счет добавления нового фактора, 

2.  нормированный коэффициент  детерминации R²_норм – если он также увеличился по сравнению с предыдущей моделью, то добавленный фактор оказывает на объясняемую переменную статистически значимое влияние и должен быть включен в модель. R²_норм Если же R²_норм не изменился или даже уменьшился, то влияние добавленного фактора на объясняемую переменную не значимо, и его не следует включать в модель. Затем выбираем из нескольких моделей ту, где R² и R²_норм – максимальны.

2 метод – метод исключения. Собираем множество факторов и строим по ним всем модель МЛР. Затем оцениваем влияние каждого из факторов по соответствующему p-значению, и слабо влияющие факторы удаляем из модели по одному, начиная с самых слабо влияющих.  Степень влияния, т.е. ранжирование факторов можно осуществить по P-значениям – чем больше P-значение, тем слабее влияет соответствующий фактор.  Ранжировать по величине коэффициента нельзя!

В любом случае построение модели следует начать с исследования матрицы парных корреляций  объясняемой переменной с каждым их факторов и межфакторной корреляции.  Для ее построения -  Сервис-Анализ данных-Корреляция.   В полученной матрице – первый столбец – корреляции объясняемой переменной с каждым из факторов, а начиная со второго столбца на элемент ρ_ij – это корреляция фактора (i-1) и фактора (j-1).