Основные приемы статистического анализа

даже когда n невелико. Н. о. играют важную роль в статистическом контроле массовой продукции.

 

 

Вопрос 2.2 Как определяется функция правдоподобия

 

Пусть Х – дискретная случайная величина, которая в результате п испытаний приняла значения х₁, х₂, …, х_п. Предположим, что нам известен закон распределения этой величины, определяемый параметром Θ, но неизвестно численное значение этого параметра. Найдем его точечную оценку.

Пусть р(х_i, Θ) – вероятность того, что в результате испытания величина Х примет значение х_i. Назовем функцией правдоподобия дискретной случайной величины Х функцию аргумента Θ, определяемую по формуле:

L(х₁, х₂, …, х_п; Θ) = p(x₁,Θ)p(x₂,Θ)…p(x_n,Θ).

Тогда в качестве точечной оценки параметра  Θ принимают такое его значение Θ* = Θ(х₁, х₂, …, х_п), при котором функция правдоподобия достигает максимума. Оценку Θ* называют оценкой наибольшего правдоподобия.

Поскольку функции L и lnL достигают максимума при одном и том же значении Θ, удобнее искать максимум ln L – логарифмической функции правдоподобия.

 Для этого  нужно:

1) найти производную;

2) приравнять  ее нулю (получим так называемое уравнение правдоподобия) и найти критическую точку;

3) найти вторую  производную  ; если она отрицательна в критической точке, то это – точка максимума.

Достоинства метода наибольшего правдоподобия: полученные оценки состоятельны (хотя могут быть смещенными), распределены асимптотически нормально при больших значениях п и имеют наименьшую дисперсию по сравнению с другими асимптотически нормальными оценками; если для оцениваемого параметра Θ существует эффективная оценка Θ*, то уравнение правдоподобия имеет единственное решение Θ*; метод наиболее полно использует данные выборки и поэтому особенно полезен в случае малых выборок.

Недостаток  метода наибольшего правдоподобия: сложность вычислений.

Для непрерывной  случайной величины с известным  видом плотности распределения f(x) и неизвестным параметром Θ функция правдоподобия имеет вид:

L(х₁, х₂, …, х_п; Θ) = f(x₁,Θ)f(x₂,Θ)…f(x_n,Θ).

Оценка наибольшего правдоподобия  неизвестного параметра проводится так же для дискретной случайной величины.

 

Вопрос 2.3 В каких случаях применяют параметрические критерии

 

Критерии принято  делить на параметрические и непараметрические. Параметрическими критериями являются те, в формулу расчета которых входят параметры распределения – средние или дисперсии. Непараметрические критерии в отличии от параметрических основаны на использовании в их формулах частот, долей или рангов. Непараметрические критерии применимы к переменным выраженным в любых шкалах, а параметрические – только лишь к тем переменным, которые выраженны в шкалах интервалов или отношений.

И те, и другие критерии имеют  свои преимущества и недостатки. В  тех случаях, когда переменная измерена в шкале интервалов и ее распределение  близко к нормальному, лучше пользоваться параметрическими критериями, т.к. они оказываются более мощными, чем непараметрические. Но в том случае, если эти условия не выполняются, более эффективными окажутся непараметрические критерии, так как им ''все равно'' в каких шкалах измерены переменные и соответствует распределение нормальному или нет. В ряде случаев непараметрическим критериям нет замены, особенно если признак определялся не количественно, а качественно.

Если вид  распределения или функция распределения  выборки нам заданы, то в этом случае задача оценки различий двух групп независимых наблюдений может решаться с использованием параметрических критериев статистики: либо критерия Стьюдента (t), если сравнение выборок ведется по средним значениям (X и У), либо с использованием критерия Фишера (F), если сравнение выборок ведется по их дисперсиям.

Параметрические критерии

В группу параметрических критериев методов математической статистики входят методы для вычисления описательных статистик, построения графиков на нормальность распределения. Эти методы основываются на предположении о том, что распределение выборок подчиняется нормальному (гауссовому) закону распределения. Среди параметрических критериев статистики нами будут рассмотрены критерий Стьюдента и Фишера.

1. Критерий Стьюдента (t-критерий)

Критерий позволяет  найти вероятность того, что оба средних значения в выборке относятся к одной и той же совокупности. Данный критерий наиболее часто используется для проверки гипотезы: «Средние двух выборок относятся к одной и той же совокупности».

При использовании критерия можно  выделить два случая. В первом случае его применяют для проверки гипотезы о равенстве генеральных средних двух независимых, несвязанных выборок (так называемый двухвыборочный t-критерий). В этом случае есть контрольная группа и экспериментальная (опытная) группа, количество испытуемых в группах может быть различно.

Во втором случае, когда одна и  та же группа объектов порождает числовой материал для проверки гипотез о средних, используется так называемый парный t-критерий.

Выборки при этом называют зависимыми, связанными.

а) случай независимых  выборок

Статистика критерия для случая несвязанных, независимых  выборок равна:

   (1)  

где , — средние арифметические в экспериментальной и контрольной группах,

- стандартная ошибка разности средних арифметических. Находится из формулы:

,  (2)

где n₁ и n₂ соответственно величины первой и второй выборки.

Если n₁=n₂, то стандартная ошибка разности средних арифметических будет считаться по формуле:

   (3)

где n величина выборки.

Подсчет числа степеней свободы осуществляется по формуле:

k = n₁ + n₂ – 2.  (4)

При численном  равенстве выборок k = 2n - 2.

Далее необходимо сравнить полученное значение t_эмп с теоретическим значением t—распределения Стьюдента (см. приложение к учебникам статистики). Если t_эмп<t_крит, то гипотеза H₀ принимается, в противном случае нулевая гипотеза отвергается и принимается альтернативная гипотеза.

б) случай связанных (парных) выборок

В случае связанных  выборок с равным числом измерений  в каждой можно использовать более  простую формулу t-критерия Стьюдента, по формуле:

  (5)

где — разности между соответствующими значениями переменной X и переменной У, а d - среднее этих разностей;

Sd вычисляется  по следующей формуле:

   (6)

Число степеней свободы k определяется по формуле k=n-1.

2. F — критерий Фишера

Критерий  Фишера позволяет сравнивать величины выборочных дисперсий двух независимых выборок. Для вычисления F_эмп нужно найти отношение дисперсий двух выборок, причем так, чтобы большая по величине дисперсия находилась бы в числителе, а меньшая – в знаменателе. Формула вычисления критерия Фишера такова:

  (8)

где - дисперсии первой и второй выборки соответственно.

Так как, согласно условию критерия, величина числителя  должна быть больше или равна величине знаменателя, то значение F_эмп всегда будет больше или равно единице.

 

Вопрос 3.1 Как проводится проверка гипотезы о равенстве групповых математических ожиданий

 

Проверка гипотезы о равенстве математических ожиданий двух случайных величин

Пусть есть две независимые  выборки значений нормально распределенной величины x: х₁, х₂, ..., x_n - всего n элементов, и нормально распределенной величины y: y₁, y₂, ..., y_m - m элементов.

Предполагается, что Dx = Dу. (Предположение о равенстве дисперсий  может быть проверено по "рецепту" 3.3).

Гипотеза Н₀ состоит в том, что Мх = Му. Это, пожалуй, наиболее распространенный тип гипотез в технологических, биологических, даже педагогических экспериментах. В обеих выборках существует одинаковый разброс, но важно определить, значимо ли на фоне этого разброса, отличаются средние значения выборок. Проверяемая гипотеза состоит в том, что математические ожидания не отличаются. Критерием проверки служит, как и в разделе 3.2, случайная величина t, но построенная более сложным образом.

Напомним, что по известному закону Стьюдента распределена величина

, где z ~ N(0, 1), V ~ Χ²_ν.

Возьмем в качестве z комбинацию

(3.5)

Учитывая, что x ~ N(Mx, Dx), y ~ N(My, Dy), соответственно

~ N(Mx, Dx / n), ~ N(My, Dy / m), x и y независимы и поэтому дисперсия разности их среднеарифметических равна сумме дисперсий, а матожидание разности матожиданий, и помня о равенстве Dx и Dy, получим, что z, определенное по (3.5), действительно распределено нормально с параметрами Mz = 0, Dz = 1.

В качестве V возьмем V = (n - 1) S_x² / σ² + (m - 1) S_y² / σ² ~ Χ²_n+m-2, 
что следует из определения Χ² и формулы (2.1). В результате получим

(3.6)

Критическая область - опять  двухсторонняя, т.е. гипотеза отвергается, если | t | > t_q.

В качестве примера проверим гипотезу о том, что средняя светоотдача по старой и новой технологии одинакова согласно данным примера из предыдущего раздела. Выберем α = 0.05 и по таблице t-распределения найдем, что при ν = 9 + 10 - 2 = 17 t_q = 2.1. Теперь вычисляем:

Вывод: | t_э | < t_q. Гипотеза о равенстве средних значений светоотдачи ламп, изготовленных по старой и новой технологии, проверена по t критерию на уровне значимости 5% и принята.

 

Вопрос 3.1 Нарисуйте  таблицу однофакторного дисперсионного анализа

		Таблица 1. Однофакторного дисперсионого анализа
№ п/п	Наименование		Аппарат		Веста 1		Веста 2		Отделение срочного социального обслуживания	Отделение дневного прибывания	Отделение ребилитации  инвалидов
	1		2		3		4		5	6	7
1	Количество  штатных единиц		16		21		23		10	15	17
2	Итого по учреждению:		102

Вопрос 4.1 Укажите недостатки иерархических  алгоритмов

 

При большом  количестве наблюдений иерархические  методы кластерного анализа не пригодны. В таких случаях используют неиерархические  методы, основанные на разделении, которые  представляют собой итеративные  методы дробления исходной совокупности. В процессе деления новые кластеры формируются до тех пор, пока не будет выполнено правило остановки.

Такая неиерархическая  кластеризация состоит в разделении набора данных на определенное количество отдельных кластеров. Существует два  подхода. Первый заключается в определении границ кластеров как наиболее плотных участков в многомерном пространстве исходных данных, т.е. определение кластера там, где имеется большое "сгущение точек". Второй подход заключается в минимизации меры различия объектов

 

Алгоритм k-средних (k-means)

Наиболее распространен  среди неиерархических методов  алгоритм k-средних, также называемый быстрым кластерным анализом. Полное описание алгоритма можно найти  в работе Хартигана и Вонга (Hartigan and Wong, 1978). В отличие от иерархических  методов, которые не требуют предварительных предположений относительно числа кластеров, для возможности использования этого метода необходимо иметь гипотезу о наиболее вероятном количестве кластеров.

Алгоритм k-средних  строит k кластеров, расположенных на возможно больших расстояниях друг от друга. Основной тип задач, которые решает алгоритм k-средних, - наличие предположений (гипотез) относительно числа кластеров, при этом они должны быть различны настолько, насколько это возможно. Выбор числа k может базироваться на результатах предшествующих исследований, теоретических соображениях или интуиции.

Общая идея алгоритма: заданное фиксированное число k кластеров  наблюдения сопоставляются кластерам  так, что средние в кластере (для  всех переменных) максимально возможно отличаются друг от друга.

 

 

 Недостатки алгоритма k-средних:

1. алгоритм слишком чувствителен к выбросам, которые могут искажать среднее. Возможным решением этой проблемы является использование модификации алгоритма - алгоритм k-медианы;

2. алгоритм может медленно работать на больших базах данных. Возможным решением данной проблемы является использование выборки данных.

Среди новых  масштабируемых алгоритмов также можно  отметить алгоритм CURE - алгоритм иерархической  кластеризации, и алгоритм DBScan, где  понятие кластера формулируется с использованием концепции плотности (density).

Основным недостатком  алгоритмов BIRCH, Clarans, CURE, DBScan является то обстоятельство, что они требуют  задания некоторых порогов плотности  точек, а это не всегда приемлемо. Эти ограничения обусловлены тем, что описанные алгоритмы ориентированы на сверхбольшие базы данных и не могут пользоваться большими вычислительными ресурсами.