Эконометрика

Один из вариантов  построения модели МЛР.

Пункт 1.

Строим матрицу парных корреляций.  Если корреляция Y с каждым из факторов достаточно высокая (>0,7), а межфакторная корреляция низкая (<0,3) – то мультиколлинеарность отсутствует. Строим модель МЛР в Excel и переходим к П.2   Если это не так, т.е. обнаружена мультиколлинеарность, то переходим П5.

Пункт 2.

Оцениваем  значимость построенной модели по фактору Фишера.  Значимость F – это вероятность того, что для генеральной совокупности F =0, (то же самое – найдется такая выборка, для которой R² =0), т.е. регрессия в целом статистически незначима (блок 2 –значимость F).  Если  значимость F<0,01, то модель признаем значимой с надежностью 99%,

если  0,01< значимость F< 0,05, то модель признаем значимой с надежностью 95%.   Если значимость F>0,05, то для уровня надежности 95% принимаем гипотезу о незначимости модели в целом.  Вывод: с надежностью 95% невозможно утверждать, что рассматриваемые факторы оказывают систематического влияние на объясняемую переменную и ничего, кроме c надежностью 95%  сказать нельзя.  В этом случае – Пункт 4.

Пункт 3.

Если модель значима  с удовлетворительной надежностью, то оцениваем значимость каждого из полученных коэффициентов модели, т.е. a, b₁, b₂, …b_k по соответствующим P-значениям.  Если для коэффициента b_i P-значение  меньше, чем 0,05, то с надежностью 95% этот коэффициент отличен от нуля, и соответствующий фактор должен присутствовать в модели МЛР.  Если для коэффициента b_i P-значение  больше, чем 0,05, то  при уровне надежности в 95% принимаем гипотезу b_i =0. Вывод: влияние фактора  X_i на Y признаем статистически незначимым.  В этом случае фактор X_i следует исключить из модели и заново рассчитать параметры МЛР без него.   Если таких факторов оказывается несколько, то следует удалять их из модели  по одному, каждый раз заново пересчитывая МЛР.  Первым следует удалить тот из факторов, для которого P-значение максимально.  Так – до тех пор, пока не будет получена модель, в которой все факторы значимы.

Пункт 4.

Если модель регрессии  в целом оказалась незначимой, то можно попытаться улучшить модель:

1. добавить точки в выборку;
2. удалить статистические выбросы – по стандартизированным остаткам;
3. попытаться построить нелинейную модель линеаризовать ее и перейти к П1 для линеаризованных данных.

Пункт 5.

Если в матрице корреляций прослеживается мультиколлинеарность, то тем не менее параметры МЛР  по МНК формально можно построить.  Однако при этом 

1. затрудняется интерпретация параметров МЛР как характеристик действия каждого из факторов в чистом виде,  таким образом параметры регрессии теряют смысл;
2. оценки параметров ненадежны и сильно меняются при слабом изменении выборки (добавление или исключение нескольких наблюдений;
3. иногда знаки коэффициентов регрессии противоречат теоретическим предпосылкам (в модели стоимости жилья отрицательные коэффициенты). Преодоление мультиколлинеарности – процесс сложный. Самый простой способ – построение модели по методу включения переменных, рассмотренному выше.

6. Фиктивные переменные.

Модели типа ANOVA и ANCOVA.

Часто случается так, что отдельные факторы, которые  мы хотели бы ввести в регрессионную модель, являются качественными по своей природе и, следовательно, не измеряются в числовой шкале.

При исследовании регрессионных  зависимостей отдельные факторы  могут иметь не количественный, а  качественный характер. Например, исследуется зависимость между возрастом и доходом населения по выборке, в которой представлены данные по лицам как мужского, так и женского пола. Необходимо выяснить, обусловлены ли различия в результатах полом индивидуума.

В принципе, возможным  решением было бы оценивание отдельных регрессий для двух указанных категорий с последующим выяснением, различаются ли полученные коэффициенты. Другой возможный подход состоит в оценивании единой регрессии с использованием всей совокупности наблюдений и измерением степени влияния качественного фактора при помощи введения так называемой фиктивной переменной.

Второй подход обладает двумя важными преимуществами: во-первых, имеется простой способ проверки, является ли воздействие качественного фактора значимым; во-вторых, при условии выполнения определенных предположений регрессионные оценки оказываются более эффективными.

Для исследования влияния  качественных признаков в регрессионную модель вводятся фиктивные, или бинарные, переменные, которые, как правило, принимают значение 1, если данный качественный признак присутствует в наблюдении, и значение 0 при его отсутствии.

Фиктивная переменная d – такая же «равноправная» переменная, как и любая другая экзогенная переменная (х). Ее «фиктивность» состоит только в том, что она количественным образом описывает качественный признак.

Рассмотрим введение фиктивной переменной для случая парной регрессии.

Пример 1. При исследовании зависимости зарплаты от различных факторов возник вопрос, влияет ли на ее величину наличие у работника высшего образования.

Y = {у₁, …, у_n} – величина зарплаты;

Х = {х₁, …, х_n} – влияющие на нее показатели;

Предполагается линейная зависимость между переменными:

у = α + β х + u

Введем новую, бинарную, переменную d, полагая, что d_i=1, если в i-м наблюдении работник имеет высшее образование и d_i =0 в противном случае. Тогда модель примет вид:

у = α + β х + g d + u

В этом случае средняя  зарплата у составит α + β х при отсутствии высшего образования и α + β х + g  при его наличии.

g интерпретируется как среднее изменение зарплаты при переходе из одной категории (без высшего образ.) в другую (с высшим образованием) при неизменных значениях остальных параметров.

Если включаемый в  рассмотрение качественный признак  принимает не два, а несколько значений, то целесообразно использовать несколько бинарных переменных.

Типичным примером подобной ситуации является исследование сезонных колебаний.

Пример 2. Пусть у_t – объем потребления некоторого продукта в месяц t, и есть все основания считать, что потребление его зависит от времени года. Для выявления влияния сезонности можно ввести три бинарные переменные d1_t, d2_t, d3_t:

d1_t  = 1, если месяц является зимним и d1_t  = 0 в остальных случаях;

d2_t  = 1, если месяц является весенним и d2_t = 0 в остальных случаях;

d3_t  = 1, если месяц является летним и d3_t = 0 в остальных случаях.

Четвертая бинарная переменная, относящаяся к осени, не вводится, поскольку иначе тогда для любого месяца t выполнялось бы тождество d1_t  + d2_t + d3_t + d4_t  = 1, что означало бы линейную зависимость регрессоров и делало бы невозможным получение оценок по МНК.

Теперь можно оценить  уравнение 

у = α + β₁ d1_t  + β₂ d2_t + β₃ d3_t + e_t.

Такая ситуация, когда  сумма фиктивных переменных тождественно равна константе, также включенной в регрессию, фактически означает, что среднемесячный объем потребления

для осенних месяцев равен  α,

для зимних месяцев  -  α + β₁,

для весенних   -  α + β₂,

для летних    -  α + β₃.

Таким образом, оценки коэффициентов  β₁,  β₂,  β₃ показывают сезонные отклонения в объеме потребления по отношению к осенним месяцам. Тестируя, например, стандартную гипотезу β₃ = 0 (статистика Стьюдента), мы проверяем предположение о несущественном различии в объеме потребления между летним и осенним сезоном.

Фиктивные переменные, несмотря на свою внешнюю простоту, являются весьма гибким инструментом при исследовании влияния качественных признаков.

Рассмотрим еще один пример.

Пример 3.  К предыдущей модели, где рассматривались сезонные различия лишь для среднемесячного объема потребления, добавим новую переменную – доход, используемый на потребление данного товара. Изначально уравнение регрессии объема потребления на доход, используемый на потребление, выглядит так:

у = α + β х + u,

где у_t  – объем потребления товара в месяц t;

      х_t  – доход, используемый на потребление в месяц t.

Коэффициент β здесь носит название «склонность к потреблению». Ставится задача исследовать влияние сезона на склонность к потреблению.

Для этого можно рассмотреть  модель:

у = α + β₁ d1_t  + β₂ d2_t + β₃ d3_t +

+ β₄ d1_t х_t + β₅ d2_t х_t + β₆ d3_t х_t+ β₇ х_t + e_t .

Здесь склонность к потреблению  осенью есть β₇,

      зимой -  β₄ + β₇,

      весной - β₅ + β₇,

      летом  -   β₆ + β₇.

Фиктивные переменные позволяют  также строить и оценивать  так называемые кусочно-линейные модели, которые можно применять для исследования структурных изменений.

Пример 4. Исследуется зависимость объема продукции у, выпущенной некоторым предприятием, от размера основных фондов предприятия х. Данные по х и у представлены в виде временных рядов. Есть основания считать, что в некоторый момент времени t₀ произошла структурная перестройка и линия регрессии будет отличаться от той, что была до момента t₀, но общая линия остается непрерывной.

 

 

 

 

 

 

Чтобы оценить такую  модель, введем бинарную переменную d, полагая, что d_t = 0, если t £ t₀  и d_t = 1, если t > t₀ . Запишем регрессионное уравнение:

у = α + β₁ х_t  + β₂ ( х_t -х_t0 )+ e_t .

Линия регрессии имеет  коэффициент наклона β₁  для t £ t₀  и  
β₁ + β₂ для t > t₀ и разрыва в точке x(t₀) не происходит.

Т. о., тестируя гипотезу β₂ = 0, мы проверяем предположение о том, что фактически структурного сдвига не произошло.

Этот подход можно  обобщить и на случай нескольких структурных изменений в пределах одного временного интервала.

7. Мультиколлинеарность.

При использовании моделей  множественной регрессии, когда, в  отличие от парной, на объясняемую  переменную влияет не один, а несколько показателей, могут возникать различные проблемы, связанные с выбором этих показателей. Рассмотрим одну из них.

Мультиколлинеарность  – это понятие, которое используется для описания проблемы, когда нестрогая  линейная зависимость между объясняющими переменными приводит к получению ненадежных оценок регрессии.

Эта проблема является обычной  для регрессий временных рядов, т.е. когда данные состоят из ряда наблюдений в течение какого-то периода времени. Если две или более независимые переменные имеют ярко выраженный временной тренд, то они будут тесно коррелированы, что может привести к мультиколлинеарности.

Если одна из экзогенных переменных является линейной комбинацией второй, то имеет место полная коллинеарность. На практике она встречается редко. Гораздо чаще между регрессорами существует не абсолютная корреляция (R=1), а высокая (R>0,7). Тогда говорят о наличии мультиколлинеарности. В этом случае оценки по МНК формально существуют, но обладают «плохими» свойствами.

Характерные признаки мультиколлинеарности.

1. Небольшое изменение исходных данных (например, добавление новых наблюдений) приводит к существенному изменению оценок коэффициентов регрессии;
2. Оценки имеют большие стандартные ошибки, малую значимость, в то время как модель в целом является значимой (высокое значение коэффициента детерминации R² и соответствующей F-статистики).
3. Оценки коэффициентов имеют неправильные с точки зрения теории знаки или неоправданно большие значения.

Для обнаружения мультиколлинеарности в построенной модели необходимо использовать теоретические ограничения на коэффициенты регрессии и их эмпирические оценки.

Например, исследуется влияние различных показателей на цену производимого изделия.

1) На 1 этапе предположим,  что на цену изделия (у) влияет себестоимость изготовления изделия (х₁) и стоимость сырья (х₂).

По результатам проведения регрессионного анализа записано уравнение связи:  у = 200 + 60 х₁ – 12 х₂.

Коэффициент при х₂  выглядит неправдоподобным. Скорее всего, и его оценка значимости покажет плохой результат (Р-зн. ³ 0,05). Анализируя ситуацию, приходим к выводу, что переменные х₁ и х₂ линейно связаны между собой – мультиколлинеарность.

Исключаем из модели х₂ и заново проводим регрессионный анализ.

2) Полученное на 2 этапе  уравнение регрессии выглядит следующим образом:   у = 450 + 90 х₁.

Слишком большая величина константы а₀ показывает, что в модель не включены какие-то существенные факторы. Добавим в модель в качестве объясняющих переменных показатели объема выпуска продукции (х₃) и накладных расходов (х₄).

3) Новое уравнение  регрессии:   у = 25 + 80 х₁ + 40 х₃ – 25 х₄.

В данном случае опять  выглядит неправдоподобным коэффициент  при х₄. Скорее всего, это подтвердится и величиной Р-значения. Исключаем данный фактор из модели.

4) Окончательный вид  связи:  у = 30 + 75 х₁ + 46 х₃.

Методы, используемые для  смягчения мультиколлинеарности, делятся  на две категории: 1) использование  внешней информации;  
2) попытки повысить степень выполнения четырех условий Гаусса-Маркова, обеспечивающих надежность оценок регрессии.

К действиям, смягчающим мультиколлинеарность, относятся:

• увеличение размера выборки (например, при анализе временных рядов желательно брать не ежегодные отчетные данные, а квартальные, если только они могут быть измерены с не меньшей точностью). В идеале нужно анализировать выборку, в которой независимые переменные слабо связаны между собой.
• введение в модель ранее не учтенной переменной, оказывающей существенное влияние на объясняемую переменную (однако если новая переменная линейно связана с уже включенными в модель переменными, то ее введение может усугубить проблему мультиколлинеарности);
• замена нескольких объясняющих (независимых) переменных одной их линейной комбинацией;
• исключение из модели одной или нескольких независимых переменных, линейно связанных с оставшимися в модели, для чего используется процедура нахождения частных корреляций между переменными модели.