Уравнение множественной регрессии

 

 

s_e² = (Y - X*s)^T(Y - X*s) = 1222.76

Несмещенная оценка дисперсии равна:

 

Оценка среднеквадратичного отклонения равна (стандартная ошибка для оценки Y):

 

Найдем оценку ковариационной матрицы вектора k = S * (X^TX)^-1

 

 

13.56	-64.79	0.11	-0.12
-64.79	392.42	-0.65	0.58
0.11	-0.65	0.00114	-0.00127
-0.12	0.58	-0.00127	0.00245

 

 

Дисперсии параметров модели определяются соотношением S²_i = K_ii, т.е. это элементы, лежащие на главной диагонали

Показатели тесноты связи факторов с результатом.

Если факторные признаки различны по своей сущности и (или) имеют различные единицы измерения, то коэффициенты регрессии b_j при разных факторах являются несопоставимыми. Поэтому уравнение регрессии дополняют соизмеримыми показателями тесноты связи фактора с результатом, позволяющими ранжировать факторы по силе влияния на результат.

К таким показателям тесноты связи относят: частные коэффициенты эластичности, β-коэффициенты, частные коэффициенты корреляции.

Частные коэффициенты эластичности.

С целью расширения возможностей содержательного анализа модели регрессии используются частные коэффициенты эластичности, которые определяются по формуле:

 

Частный коэффициент эластичности показывает, насколько процентов в среднем изменяется признак-результат у с увеличением признака-фактора х_j на 1% от своего среднего уровня при фиксированном положении других факторов модели.

 

Частный коэффициент эластичности |E₁| < 1. Следовательно, его влияние на результативный признак Y незначительно.

 

Частный коэффициент эластичности |E₂| < 1. Следовательно, его влияние на результативный признак Y незначительно.

 

Частные коэффициент эластичности |E₃| > 1. Следовательно, он существенно влияет на результативный признак Y.

Стандартизированные частные коэффициенты регрессии.

Стандартизированные частные коэффициенты регрессии - β-коэффициенты (β_j) показывают, на какую часть своего среднего квадратического отклонения S(у) изменится признак-результат y с изменением соответствующего фактора х_j на величину своего среднего квадратического отклонения (S_хj) при неизменном влиянии прочих факторов (входящих в уравнение).

По максимальному β_j можно судить, какой фактор сильнее влияет на результат Y.

По коэффициентам эластичности и β-коэффициентам могут быть сделаны противоположные выводы. Причины этого: а) вариация одного фактора очень велика; б) разнонаправленное воздействие факторов на результат.

Коэффициент β_j может также интерпретироваться как показатель прямого (непосредственного) влияния j-ого фактора (x_j) на результат (y). Во множественной регрессии j-ый фактор оказывает не только прямое, но и косвенное (опосредованное) влияние на результат (т.е. влияние через другие факторы модели).

Косвенное влияние измеряется величиной: ∑β_ir_xj,xi, где m - число факторов в модели. Полное влияние j-ого фактора на результат равное сумме прямого и косвенного влияний измеряет коэффициент линейной парной корреляции данного фактора и результата - r_xj,y.

Так для нашего примера непосредственное влияние фактора x₁ на результат Y в уравнении регрессии измеряется β_j и составляет 0.53322422423043; косвенное (опосредованное) влияние данного фактора на результат определяется как:

r_x1x2β₂ = 0.992508675734 * -0.91049339888249 = -0.9037

Сравнительная оценка влияния анализируемых факторов на результативный признак.

5. Сравнительная оценка влияния анализируемых факторов на результативный признак производится:

- средним коэффициентом эластичности, показывающим на сколько процентов среднем по совокупности изменится результат y от своей средней величины при изменении фактора x_i на 1% от своего среднего значения;

- β-коэффициенты, показывающие, что, если величина фактора изменится на одно среднеквадратическое отклонение S_xi, то значение результативного признака изменится в среднем на β своего среднеквадратического отклонения;

- долю каждого фактора в общей вариации результативного признака определяют коэффициенты раздельной детерминации (отдельного определения): d²_i = r_yxiβ_i.

d²₁ = 0.88 * 0.533 = 0.47

d²₂ = 0.91 * (-0.91) = -0.83

d²₃ = 0.99 * 1.363 = 1.35

При этом должно выполняться равенство:

∑d²_i = R² = 0.99

Множественный коэффициент корреляции (Индекс множественной корреляции).

Тесноту совместного влияния факторов на результат оценивает индекс множественной корреляции.

В отличии от парного коэффициента корреляции, который может принимать отрицательные значения, он принимает значения от 0 до 1.

Поэтому R не может быть использован для интерпретации направления связи. Чем плотнее фактические значения yi располагаются относительно линии регрессии, тем меньше остаточная дисперсия и, следовательно, больше величина R_y(x1,...,xm).

Таким образом, при значении R близком к 1, уравнение регрессии лучше описывает фактические данные и факторы сильнее влияют на результат. При значении R близком к 0 уравнение регрессии плохо описывает фактические данные и факторы оказывают слабое воздействие на результат.

 

Связь между признаком Y факторами X сильная

Коэффициент детерминации.

R²= 1² = 0.99

5. Проверка гипотез относительно коэффициентов уравнения регрессии (проверка значимости параметров множественного уравнения регрессии).

Число v = n - m - 1 называется числом степеней свободы. Считается, что при оценивании множественной линейной регрессии для обеспечения статистической надежности требуется, чтобы число наблюдений, по крайней мере, в 3 раза превосходило число оцениваемых параметров.

1) t-статистика

T_табл (n-m-1;α/2) = (6;0.025) = 2.447

 

Находим стандартную ошибку коэффициента регрессии b₀:

 

 

Статистическая значимость коэффициента регрессии b₀ подтверждается.

Находим стандартную ошибку коэффициента регрессии b₁:

 

 

Статистическая значимость коэффициента регрессии b₁ подтверждается.

Находим стандартную ошибку коэффициента регрессии b₂:

 

 

Статистическая значимость коэффициента регрессии b₂ подтверждается.

Находим стандартную ошибку коэффициента регрессии b₃:

 

 

Статистическая значимость коэффициента регрессии b₃ подтверждается.

Доверительный интервал для коэффициентов уравнения регрессии.

Определим доверительные интервалы коэффициентов регрессии, которые с надежность 95%  будут следующими:

(b_i - t_i S_bi; b_i + t_i S_bi)

b₀: (-24.25 - 2.447 * 3.68 ; -24.25 + 2.447 * 3.68) = (-33.25;-15.24)

b₁: (99.35 - 2.447 * 19.81 ; 99.35 + 2.447 * 19.81) = (50.87;147.82)

b₂: (-0.23 - 2.447 * 0.0338 ; -0.23 + 2.447 * 0.0338) = (-0.32;-0.15)

b₃: (1.68 - 2.447 * 0.0495 ; 1.68 + 2.447 * 0.0495) = (1.56;1.8)

6. Проверка общего качества уравнения множественной регрессии.

Оценка значимости уравнения множественной регрессии осуществляется путем проверки гипотезы о равенстве нулю коэффициент детерминации рассчитанного по данным генеральной совокупности: R² или b₁ = b₂ =... = b_m = 0 (гипотеза о незначимости уравнения регрессии, рассчитанного по данным генеральной совокупности).

Для ее проверки используют F-критерий Фишера.

При этом вычисляют фактическое (наблюдаемое) значение F-критерия, через коэффициент детерминации R², рассчитанный по данным конкретного наблюдения.

По таблицам распределения Фишера-Снедоккора находят критическое значение F-критерия (Fкр). Для этого задаются уровнем значимости α (обычно его берут равным 0,05) и двумя числами степеней свободы k₁=m и k₂=n-m-1.

2) F-статистика. Критерий Фишера

 

Чем ближе этот коэффициент к единице, тем больше уравнение регрессии объясняет поведение Y.

Более объективной оценкой является скорректированный коэффициент детерминации:

 

Добавление в модель новых объясняющих переменных осуществляется до тех пор, пока растет скорректированный коэффициент детерминации.

Проверим гипотезу об общей значимости - гипотезу об одновременном равенстве нулю всех коэффициентов регрессии при объясняющих переменных:

H₀: β₁ = β₂ = ... = β_m = 0.

Проверка этой гипотезы осуществляется с помощью F-статистики распределения Фишера.

Если F < F_kp  = F_{α ; n-m-1}, то нет оснований для отклонения гипотезы H₀.

 

Табличное значение при степенях свободы k₁ = 3 и k₂ = n-m-1 = 10 - 3 - 1 = 6, Fkp(3;6) = 4.76

Поскольку фактическое значение F > Fkp, то коэффициент детерминации статистически значим и уравнение регрессии статистически надежно

Оценка значимости дополнительного включения фактора (частный F-критерий).

Необходимость такой оценки связана с тем, что не каждый фактор, вошедший в модель, может существенно увеличить долю объясненной вариации результативного признака. Это может быть связано с последовательностью вводимых факторов (т. к. существует корреляция между самими факторами).

Мерой оценки значимости улучшения качества модели, после включения в нее фактора х_j, служит частный F-критерий - F_xj:

 

где m - число оцениваемых параметров.

В числителе - прирост доли вариации у за счет дополнительно включенного в модель фактора х_j.

Если наблюдаемое значение F_xj больше F_kp, то дополнительное введение фактора x_j в модель статистически оправдано.

Частный F-критерий оценивает значимость коэффициентов «чистой» регрессии (b_j). Существует взаимосвязь между частным F-критерием - F_xj и t-критерием, используемым для оценки значимости коэффициента регрессии при j-м факторе:

 

Покажем на пример для x₁.

Проверка наличия гетероскедастичности.

1) Методом графического анализа остатков.

В этом случае по оси абсцисс откладываются значения объясняющей переменной X, а по оси ординат либо отклонения e_i, либо их квадраты e²_i.

Если имеется определенная связь между отклонениями, то гетероскедастичность имеет место. Отсутствие зависимости скорее всего будет свидетельствовать об отсутствии гетероскедастичности.

2) При помощи теста ранговой корреляции Спирмена.

Коэффициент ранговой корреляции Спирмена.

Присвоим ранги признаку e_i и фактору X. Найдем сумму разности квадратов d².

По формуле вычислим коэффициент ранговой корреляции Спирмена.

 

 

X	ei	ранг X, dx	ранг ei, dy	(dx - dy)2
0.33	4.98	2	7	25
0.34	11.5	3	8	25
0.44	1.46	4	6	4
0.32	0.13	1	5	16
0.47	-12.49	6	2	16
0.6	-12.32	7	3	16
0.61	14.6	8	10	4
0.47	-19.61	5	1	16
0.74	12.55	9	9	0
2.47	-0.77	10	4	36
				158

 

Связь между признаком e_i и фактором X слабая и прямая