Шпаргалка по "Педагогике"

Опишем теперь подробнее  предлагаемую процедуру исследования и используемые математические методы.

Подготовка данных к анализу.

Прежде чем приступать к анализу, необходомо выполнить  следующие действия: 1) проверить  данные на наличие существенных ошибок; 2) выбрать метод работы с пропущенными значениями; 3) при необходимости  сгладить выбросы. Рассмотрим каждый из этих моментов.

1) Ошибки ввода можно  условно разбить на две категории.  Первая - это незначительные (на уровне 20%) ошибки при наборе или шкалировании. Будучи случайным фактором, такие  ошибки в силу равной вероятности  отклонений в ту или другую  сторону не смещают оценки  для выборочных средних и не  искажают принципиально распределение  соответствующих переменных. Ошибки  второго рода - это существенные  ошибки (>50%), влияющие на распределение  (выбросы). Задачей электронной проверки  базы данных является полное  устранение существенных ошибок. Для этого по каждой из переменных рекомендуется просмотреть диаграмму рассеяния на так называемой "нормальной вероятностной бумаге", отметить выбросы и, проанализировав их, исправить ошибочные значения, либо, если выброс имеет объективную природу, решить вопрос о сглаживании (см. ниже). При этом одновременно решается вопрос о близости выборочного распределения к нормальному. (При детальном анализе и проверке гипотез нормальность распределения необходимо подтверждать критериями согласия).

2) Существует три основных  варианта работы с пропущенными  значениями. Первый - игнорировать при  конкретных вычислениях соответствующие  случаи. Однако при этом не  используется часть полезной  информации и снижается валидность  выборки, так что этот способ  можно использовать при значительном  объеме выборки (>100 человек)  и небольшом (0-10%) числе пропусков.  Второй способ заключается в  замене пропущенных значений  переменных их средними значениями. Такая процедура не изменяет  валидность и выборочное среднее  и незначительно уменьшает дисперсию.  К её недостаткам можно отнести  смещение оценок элементов ковариационной  и корреляционной матриц, что,  отражается на результатах корреляционного  и факторного анализа. Тем не  менее этот способ является  самым распространенным при средних  объёмах выборки и не слишком  большом числе пропусков. Третий  вариант работы с пропущенными  значениями заключается в их  экстраполяции по имеющимся данным. Это осуществляется средствами  корреляционно - регрессионного  или кластерного анализа. В  первом случае по имеющимся  данным определяется уравнение  множественной регрессии заданных  переменных на рассматриваемую,  и пропущенные данные заполняются  как значения этого уравнения.  Второй подход основан на использовании  расстояния между парами объектов (случаев) в некоторой метрике,  определяемого по значениям переменных, измеренных у этих объектов. Предполагается, что если два случая близки  в пространстве измеренных переменных (попадают в один кластер), то  из этого следует и их близость  по неизвестным переменным. Эти  методы технически достаточно  сложны и их целесообразно  использовать только при небольшом  объеме выборки, значительном  числе пропусков и высокой  значимости проводимого исследования.

3) Иногда выброс - не следствие  ошибки, а обьективный результат  исследования. Но в любом случае  он существенно искажает распределение  переменной, поэтому если выброс  имеет случайный характер и  не отражает некоторую закономерность, рекомендуется сгладить его путем  замены соответствующего значения  на среднее или экстраполированное  одним из перечисленных выше  способов.

Описательная  статистика.

Результаты проведенного исследования интерпретируются как  матрица данных T размера nґ р, строки которой соответствуют участникам исследования (случаи), а столбцы - значениям переменных или параметров. Пусть X - количественная переменная с набором значений x_i, i=1,2,...n. Тогда основными параметрами её распределения являются:

1. Показатели положения. К ним относятся выборочное среднее X_ср=(S x_i)/n, минимальный и максимальный элементы, верхний и нижний квартили (они определяют границы зоны, в которую попадает 50% выборки), выборочная медиана (квантиль, соответствующая значению p=0.5).
2. Показатели разброса и ассимметрии. Это в первую очередь исправленное выборочное отклонение s, дисперсия D, коэффициент вариации К_вар, размах (разность между максимальным и минимальным элементами), межквартильный размах (разность между верхней и нижней квартилью), центральные отклонения m _i, ассимметрия Ass(X), эксцесс Eks(X), вычисляемые по формулам

D = 1/(n-1) ( S (x_i - X_ср)²)^1/2, s = Ц D, (1)

m _k = ( S (x_i - X_ср)^k) / n , Ass( X)= m ₃ / s³, Eks(X)= m ₄/s⁴ - 3. (2)

Отметим, что m ₁=0, m ₂=s ², и для нормально распределенной случайной переменной Х справедливы равенства Ass(X)=Eks(X)=0 (значительные отклонения этих параметров от нуля свидетельствуют о ненормальности распределения).

3. Показатели, описывающие закон распределения. Эта группа показателей включает диаграммы рассеяния, графики гистограммы и эмпирической функции распределения, таблицы частот.

Для двух случайных переменных X, Y параметрами их совместного распределения  служат корреляционный момент m _xy (или коэффициент ковариации), коэффициент линейной корреляции r, корреляционные отношения h _xy , h _yx, определяемые следующим образом:

m _xy = 1/ n (( S (x_i - X_ср) (y_i -Y_ср) = (XY) _ср - X_ср Y_ср, (3)

r = m _xy /(s_xs_y) = ( S n_xy xy - n X_ср Y_ср)/(n s_xs_y ), (4)

h _yx = s_межгр / s_y = (( S n_x (y_x - Y)²/( S n_y (y - Y)²)^1/2, (5)

h _xy = s_межгр / s_x = (( S n_y (x_y - X_ср)²/( S n_x (x - X_ср)²)^1/2. (6)

Здесь n_x n_y - частоты значений соответственно признака x в X и y в Y, x_y , y_x - условные средние. В большинстве статистических пакетов одновременно с коэффициентом корреляции определяется его уровень значимости a . Основное различие между коэффициентом корреляции r и корреляционными отношениями состоит в том, что первый измеряет тесноту линейной связи между переменными, в то время как корреляционнное отношение служит мерой уровня любой, в том числе и линейной, зависимости. Недостатком же корреляционного отношения является то, что оно не позволяет определить аппроксимирующую кривую связи между X и Y, так как при определении корреляционного отношения конкретный вид зависимости во внимание не принимается. При анализе ординальных переменных вместо коэффициента линейной корреляции К.Пирсона r используются коэффициенты ранговой корреляции Спирмена r и Кенделла t . Для этого набор значений переменных Х и Y предварительно ранжируется, и в качестве значений переменных берутся соответствующие ранги. Таким образом, набор значений ранжированной переменной есть некоторая перестановка натуральных чисел от 1 до n. Коэффициент r для рядов числовых значений x_i и y_i (i = 1,.., n) вычисляется по формуле r = 1- 6S/(n³ - n), где S = S (x_i - y_i )². Для определения коэффициента t вводится статистика Кенделла К, определяемая как число инверсий в ряду x_i, упорядоченном значениями y_i. Тогда t = 1- 4K/(n(n -1)). Как и r, эти числа удовлетворяют неравенствам -1< r , t < 1, и крайние значения принимаются в случае полной предсказуемости одной ранговой последовательности по другой. Для выявления связи номинальных признаков используются таблицы сопряженности.

Параметрами многомерного распределения  системы переменных {Х_i}, определяемой матрицей данных T или ее подматрицей T_k, являются вектор средних и матрицы ковариаций М и корреляций R, элементами которых соответственно будут корреляционные моменты m _i,j и коэффициенты парной корреляции r_i,j. Диагональные элементы m _i,i ковариационной матрицы М - это выборочные дисперсии D_i. Обе матрицы симметричны , матрица R по сути есть нормирование М и обе они служат базой для последующего регрессионного и факторного анализа.

Регрессионный анализ. Задачей регрессионного анализа является построение модели функциональной связи между группой независимых переменных (это могут быть номинальные параметры - регрессоры либо случайные переменные, называемые предикторами или предсказательными переменными) и одномерной переменной Y, называемой откликом. Рассмотрим уравнение связи Y = f(X₁, X₂,...X_k , q ) + e (7), где f - n-мерная вектор-функция от k переменных X_i и q - параметра связи; e -n-мерный случайный параметр, отражающий отклонение от функциональной зависимости (вектор остатков или ошибок). В классической модели предполагается, что координаты e независимы и одинаково распределены по нормальному закону N(0,s ²). Рассматрим ситуацию, когда f линейно зависит от q , т.е. задачу линейного регрессионного анализа (с методами нелинейного анализа можно ознакомиться в [4]). Тогда уравнение (7) можно представить в виде Y = q ₁ + q ₂X₁ + q ₃X₂ +...+ q _k+1X_k + e , (8) или в матричной форме Y = Aq + e . Здесь А={a_i,j} - матрица размера nґ (k+1) , называемая регрессионной матрицей, в которой a_i,1=1, a_i,j =х_i,j-1 - компоненты вектора X_j-1 при j>1. Одним из основных методов получения оценки q является метод наименьших квадратов, заключающийся в минимизации остаточной суммы квадратов (RSS) = S e _i² по отношению к q . Применяя его, мы получим значения (q ₂ ,... q _k+1)= M^-1C_yX, q₁=Y_ср - q ₂X₁ - q ₃X₂ -...- q _k+1X_k , где М - матрица ковариаций для X_i, C_yX = ( m _Y,Xi , i=1,..k) - вектор оценок ковариаций между Y и X_i. Оценкой для остатка будет е =Y- Aq , a RSS= |e|. Доверительный интервал для q _i на уровне значимости a определяется как q _i + (D(q _i)t_1-a /2(n ))^1/2, где t_1-a /2(n ) - квантиль для t-распределения с n = n-k степенями свободы. Определим квадрат коэффициента множественной корреляции между Y и X_i как R² = C_yX^T M^-1C_yX = (q C_yX ) / s _Y². Его статистический смысл можно объяснить, рассмотрев дисперсию условного распределения Y при заданных X_i: (s _yXi)² =s _Y² (1- R²). Таким образом, величина R² есть доля дисперсии Y, объясненная переменными X_i. Параметры R², RSS, доверительные интервалы для q и оценки для дисперсий ошибок e и коэффициентов регрессии ([5, 7.1.3]) определяют качество приближения Y уравнением регрессии и являются важными параметрами анализа.

Наряду с изложенным выше параметрическим подходом существуют непараметрические методы построения уравнений регрессии. Их преимуществом  является отсутствие предположений  относительно нормальности распределения  предикторов и ошибок, а недостатком - меньшая мощность критериев. Одни из таких методов используют идею кластерного группирования переменных относительно заданной метрики в  пространстве предикторов [5, 7.1.9], другие основаны на ранжировании переменных и используют ранговые коэффициенты корреляции Спирмена и Кендалла [9, 8.5]. Выбор того или иного метода зависит  от типа анализируемых переменных и  в каждой ситуации решается отдельно.

Дисперсионный анализ (ДА). Предположим, что в уравнении линейной регрессии (8) параметры q _i могут принимать значения только 0 или 1. Тогда мы получим модель, в которой учитывается не степень влияния переменных Х_i на Y, а сам факт этого влияния - модель дисперсионного анализа. Переменные Х_i в этой модели назывются факторами, Y - откликом. В зависимости от числа факторов различают однофакторный, двухфакторный, мультифакторный виды анализа. Предполагается, что остатки e _i независимы и одинаково распределены по закону N(0,s ²). Второе существенное условие - переменная Y должна быть нормально распределена. Общая идеология ДА заключается в том, чтобы представить общую дисперсию Y в виде суммы дисперсий, обусловленных влиянием факторов Х_i и остаточного случайного параметра e , и, оценивая дисперсионные отношения, определить наличие и степень влияния факторов Х_i на Y. Рассмотрим самую простую, и в то же время достаточно распространенную модель однофакторного анализа. Сгруппируем значения Y в k групп, параметризованных значениями фактора Х, обозначим через n_j объемы соответствующих групп, через y_i,j - i-е значение переменной Y в j-й группе, а y_{j ср} - среднее в j-й группе. Тогда уравнение (8) можно представить в виде y_i,j = a_j + e _i,j, j=1,..,k, i =1,..,n, где а_j - неизвестные константы (генеральные средние по группам), e _i,j независимы с распределением N(0,s ²). Будет проверяться гипотеза Н₀: а₁=...=а_k. Для этого рассмотрим две оценки дисперсии s ². Первая имеет вид: s * ² = (S S (y_i,j - y_j ср)² )/(n-k). Она не зависит от гипотезы и ассимптотически стремится к s ². Вторая оценка получается через разбиение на группы, определяемые значениями фактора: s ў ² =(S n_j (y_{j ср} - Y _ср )²)/(k-1). Она зависит от Н₀ и при её нарушении имеет тенденцию к возрастанию. Отношение этих оценок F = s ў ² / s *² имеет F - распределение с ( k-1, n-k) степенями свободы и не зависит от s . Таким образом, при наблюдаемом значении F большем, чем соответствующая a - процентная точка распределения F ( (1- a ) - квантиль F) гипотеза Н₀ отвергается и принимается предположение о влиянии фактора Х на Y. Тогда можно ставить вопрос о доверительных интервалах для а_i. Ответ следующий: |y_{j ср}-a_j | < s t_1-a /Ц n_j с доверительной вероятностью 1-2a , где t_1-a - квантиль уровня (1-a ) распределения Стьюдента с n-k степенями свободы.

Отметим, что выводы ДА о равенстве или неравенстве с_j довольно устойчивы даже при нарушении основных предположений о нормальном распределении и равенстве дисперсий остатков e _i,j. Если же распределение переменной Y сильно отличается от нормального, или Y - ординальная переменная, лучше использовать непараметрические критерии связи, такие, как ранговый критерий Фридмана или критерий Пейджа для двухфакторного анализа (см. [8, 7.4.9]), а также ранговые критерии Краскела-Уоллеса и Джонхиера для однофакторного анализа ([8, 6.2]).

Факторный анализ (ФА). Рассмотрим набор нормированных случайных переменных Х₁,..,Х_k как векторов в n-мерном пространстве V. Задача ФА состоит в том, чтобы представить Х_i в виде линейных комбинаций небольшого числа общих факторов F_j , т.е. в виде Х_i = S a_i,j F_j + E_i (9), где i= 1,..,k, p < k. Переменные E_i называются остатком (невязкой) или остаточными факторами. Обычно предполагается, что общие факторы либо некоррелированные случайные величины с дисперсией 1, либо неизвестные случайные параметры. Остаточные факторы имеют нормальное распределение и не коррелируют между собой и с общими факторами. Коэффициенты a_i,j называются факторными нагрузками и совпадают с коэффициентами корреляции между X_i и F_j. Интерпретируя коэффициент корреляции r_i,j как скалярное произведение (Xi, Хj), мы при этих предположениях получим геометрическую модель ФА: уравнение (9) есть разложение системы нормированных векторов Х₁,...,Х_k через ортогональную систему E_i, F₁,..,F_p с максимальной суммарной информативностью I = SD(F_j) / S D(X_i). Матрица ковариации М для переменных X_i приводится к диагональному виду в базисе, состоящем из собственных векторов, и в качестве F_j выбираются собственные векторы с максимальными собственными значениями l _j (метод главных компонент). При этом l _j интерпретируются как дисперсии соответствующих факторов. Критерий информативности I может быть записан в виде I = S l _j / k, т.е. он равен доле суммарной дисперсии переменных Х_i, обьясненных первыми p главными компонентами - факторами. Чем ближе это значение к 1, тем более точно факторы F_j описывают переменные Х_i. Помимо метода главных компонент, существуют и другие способы выделения факторов F_j - методы минимальных остатков, максимального правдоподобия, центроидный метод и др. Все они, как правило, приводят к близким результатам, так что более важным вопросомФА является не выбор способа извлечения факторов, а определение их количества и интерпретация латентных факторов в содержательном плане (это могут быть психофизиологические свойства личности, а также социальные, экономические факторы и т.п.). При выборе числа факторов полезно руководствоваться следующими соображениями: