Стохастические объясняющие переменные

Стохастические  объясняющие переменные

Одним из условий Гаусса-Маркова  в классической модели линейной множественной  регрессии является условие неслучайности  матрицы X. Это условие выполняется не всегда, как показывают ниже приведенные примеры.

Примеры.

1. При измерении переменных-регрессоров могут возникать случайные ошибки:

,  , где - истинное значение переменной (не случайное), - ошибка измерения. Например, - это истинный доход i-го домохозяйства, а  - объявленный доход.

2. При анализе временных рядов значение исследуемой величины в момент времени t может зависеть от ее значения в предшествующие моменты времени:

. Здесь регрессор - случайная переменная.

 

Какими свойствами обладает МНК-оценка в случае, когда X – случайная матрица?

Для ответа на этот вопрос рассмотрим сначала модель парной регрессии : , , а затем обобщим выводы на модель множественной регрессии. Будем предполагать, что - независимые одинаково распределенные случайные величины с , , - независимые одинаково распределенные случайные величины.

МНК-оценка параметра a в случае прной регрессии задается формулой

, где

.

Отсюда  .

Если  - неслучайные переменные, то

Здесь множитель  вынесен за знак математического ожидания, как неслучайный.

Таким образом, - несмещенная оценка a.

Величина  по закону больших чисел сходится к . Поэтому сходится по вероятности к a. Таким образом, оценка состоятельная.

 

Пусть теперь - случайные величины. Рассмотрим 3 случая.

1. Регрессор x и случайная составляющая независимы,  т.е.

Тогда

Здесь так как множители независимы. Таким образом, оценка несмещенная.

Величина  по закону больших чисел сходится к . Поэтому сходится по вероятности к a. Таким образом, оценка состоятельная.

2. Значения регрессора x не коррелированны с ошибками регрессии в данный момент времени, но коррелированны с ошибками регрессии в более ранние моменты времени: , но для некоторых i и k.

Величины  и являются зависимыми, так как в формуле для используются все значения регрессора, в том числе и значение, коррелирующее с .

Итак, оценка - смещенная.

Величина  по закону больших чисел сходится к . Поэтому сходится по вероятности к a. Таким образом, оценка состоятельная.

3. Регрессор и ошибка регрессии одномоментно коррелированны: для некоторого i.

Оценка  - смещенная (аналогично второму случаю) и несостоятельная, так как . Это означает, что с ростом объема выборки оценка не будет приближаться к истинному значению параметра.

Замечание Состоятельность, вообще говоря может сохраниться, если неограниченно возрастает с увеличением объема выборки, так как . И даже если не сходится по вероятности к 0 с ростом n, но при этом стремится к , то . Эта ситуация, например имеет место, если - временной ряд, значения которого увеличиваются со временем.

 

Обобщим выводы на случай линейной множественной регрессии.

Теорема Для модели со стохастическими регрессорами МНК-оценка будет являться:

• несмещенной и состоятельной, если все объясняющие переменные и ошибки регрессии независимы;
• состоятельными, но смещенными, если некоторые объясняющие переменные коррелируют с ошибками регрессии в более ранние моменты времени, но не коррелируют в один и тот же момент времени;
• смещенными и несостоятельными, если некоторые объясняющие переменные и ошибки регрессии коррелируют в одинаковые моменты времени.

Пример Ошибки измерения объясняющих  переменных.

Рассмотрим модель парной линейной регрессии

,  . (1)

Будем предполагать, что  - неслучайные величины, но значения этих величин недоступны для исследователя. Вместо них он имеет дело с величинами , . Т.е. имеет место ошибка измерения объясняющей переменной.

Предположим, что  ,  ,  , , .

Тогда  или . Обозначим . Тогда получим модель

,  .  (2)

Исследователь оценивает параметры  модели (2) стандартным МНК. Будут  ли МНК-оценки являться «хорошими» оценками параметров модели (1)? Для ответа на этот вопрос необходимо выяснить будут ли зависимы и .

Здесь , так как - неслучайные величины, по предположению.

Таким образом и зависимы, следовательно МНК-оценки смещенные и несостоятельны. Увеличивая объем выборки в модели с ошибками измерения объясняющих переменных, невозможно улучшить оценку. Поэтому необходимы специальные методы оценивания в таких моделях.

 

Метод инструментальных переменных

Идея метода: заменить объясняющую переменную, коррелирующую со случайной составляющей на другую инструментальную переменную, которая не коррелирует со случайной составляющей, но тесно коррелирует с объясняющей переменной.

Рассмотрим сначала модель парной линейной регрессии:

, , для некоторого i.        (3)

Пусть z – переменная, такая что ,  близка к 1 .  Такая переменная называется инструментальной.

Теорема Оценка является состоятельной оценкой a в модели (3).

Док-во:

 

Отсюда  .

Величина  по закону больших чисел сходится к (здесь используется, что и независимы. Поэтому сходится по вероятности к a. Таким образом, оценка состоятельная.

 

Замечание Оценка не является несмещенной оценкой a, так как .

Величины  и зависимы, так как и зависимы. Следовательно

.

 

Теорема Дисперсия оценки, полученной методом инструментальных переменных вычисляется по формуле .

Из этой теоремы следует, что  чем выше корреляция инструментальной переменной с переменной x, тем меньше дисперсия оценки, тем она точнее. Поэтому инструментальную переменную следует выбирать так, чтобы она как можно сильнее коррелировала с переменной x., но в то же время не коррелировала с .  Однако использовать инструментальную переменную, которая полностью коррелирует с x ( ) нельзя, так как в этом случае если , то и

 

Пример применения метода инструментальных переменных

Для оценки эластичности потребления  некоторого товара по доходу на основании  результатов выборочного обследования домохозяйств анализируется модель

, , (1)

 где

n  - число обследованных семей;

- удельные (на 1 члена семьи ) расходы на рассматриваемый вид  товара в i-й семье;

- реальный среднедушевой доход i-й семьи (ненаблюдаемая переменная).

Вместо  в ходе обследования получены переменные:

- объявленный среднедушевой  доход в i-й семье;

- удельные расходы в i-й семье (на основании которых можно судить о доходах).

У исследователя два варианта:

1) заменить ненаблюдаемую переменную на ;

2) заменить ненаблюдаемую переменную  на .

Рассмотрим эти варианты.

1. заменить ненаблюдаемую переменную на

Предположим, что , ,

(расходы в некоторых семьях  превышают доходы за счет сбережений, в других семьях расходы ниже  доходов за счет накопления),

, , .

Тогда   или . Обозначим . Тогда получим модель

,  .  (2)

Исследователь оценивает параметры  модели (2) стандартным МНК. Будут ли МНК-оценки являться «хорошими» оценками параметров модели (1)? Для ответа на этот вопрос необходимо выяснить будут ли зависимы и .

Таким образом  и зависимы, следовательно МНК-оценки смещенные и несостоятельны.

Заметим, что МНК-оценка  сходится по вероятности к величине

.

Очевидно, что  будет занижать истинное значение a.

 

2) заменить ненаблюдаемую переменную на .

Предположим, что  , ,

(в большинстве случаев объявленный доход будет ниже реального дохода);

(дисперсия возможно будет  зависеть от величины реального  дохода – чем он выше, тем  на большую величину его будут  занижать);

  , .

Тогда   или . Обозначим . Тогда получим модель

,  .  (3)

Исследователь оценивает параметры  модели (3) стандартным МНК. Будут ли МНК-оценки являться «хорошими» оценками параметров модели (1)?

- нарушено первое условие Гаусса-Маркова;

- нарушено второе условие  Гаусса-Маркова (имеет место гетероскедастичность);

- и зависимы, следовательно МНК-оценки смещенные и несостоятельны.

 

Таким образом замена ненаблюдаемых  реальных доходов как на расходы, так ина объявленный доход  приводит к смещенным и несостоятельным оценкам.

Применим метод инструментальных переменных, взяв за основу модель (2):

,  .  (2)

Инструментальная переменная для  переменной должна

1. тесно коррелировать с ;
2. не коррелировать с .

На роль такой переменной подойдет . Действительно, первое условие выполнено, так как чем выше объявленный доход, тем выше расходы. Второе условие выполнено, так как

Тогда оценка метода инструментальных переменных

 будет являться состоятельной  оценкой параметра a в модели (1).

 

Обобщение метода инструментальных переменных на случай множественной  регрессии

Пусть в модели линейной множественной регрессии некоторые из объясняющих переменных коррелируют со случайной составляющей. Тогда МНК-оценка  несмещенная и состоятельная.

Теорема Пусть - инструментальные переменные, то есть переменные, которые тесно коррелируют с , но не коррелируют со случайной составляющей: ,  близка к 1 .  Тогда является состоятельной оценкой a.

 

Замечание Оценка является смещенной оценкой параметра a.