Лекции по "Математической статистике"

Н₀: θ = θ₀,

Н₁: θ = θ₁,

то

М(Ψ,θ₀) = α,

М(Ψ,θ₁) = 1 – β,

где α – вероятность ошибки первого  рода, β -  вероятность ошибки второго рода. В статистическом приемочном контроле α – риск изготовителя, β – риск потребителя. При статистическом регулировании технологического процесса α – риск излишней наладки, β – риск незамеченной разладки.

Функция мощности М(Ψ,θ) в случае одномерного параметра θ обычно достигает минимума, равного α, при θ = θ₀, монотонно возрастает при удалении от θ₀ и приближается к 1 при | θ - θ₀ | → ∞.

В ряде вероятностно-статистических методов принятия решений используется оперативная характеристикаL(Ψ,θ) - вероятность принятия нулевой гипотезы в зависимости от критической области Ψ и действительного значения исследуемого параметра θ. Ясно, что

L(Ψ,θ) = 1 - М(Ψ,θ).

Построение оптимальных  критериев

Следующее замечательное утверждение, по недоразумению называемое леммой, заявляет, что оптимальные во всех трех смыслах (минимаксные, байесовские, наиболее мощные) критерии могут быть построены в самом общем случае простым выбором различных констант в одном и том же критерии — критерии отношения правдоподобия.

Пусть   — выборка (набор независимых, одинаково распределенных величин), и имеются две гипотезы о распределении  :

Пусть   — плотность распределения  ,   — плотность распределения  , а

— соответствующие функции правдоподобия.

Предполагается,    что распределения   и   либо оба дискретны, либо оба абсолютно непрерывны.

Замечание 17.

Если  одно из распределений дискретно, а  другое абсолютно непрерывно, то всегда существует критерий с нулевыми вероятностями  ошибок. Смешанные распределения  мы рассматривать не будем. Математики вместо этого могут предполагать, что оба распределения абсолютно  непрерывны относительно одной и  той же  -конечной меры и имеют относительно нее плотности   и  .

Мы будем выбирать гипотезу в  зависимости от отношения функций  правдоподобия. Напомним, что функция  правдоподобия есть плотность распределения  выборки.

Обратимся к примеру 30. Естественным кажется принимать вторую гипотезу, если   лежит правее точки пересечения плотностей  . То есть там, где вторая плотность больше, принимать вторую гипотезу, там, где первая — первую.

Такой критерий сравнивает отношение   с единицей, относя к критической области ту часть  , где это отношение больше единицы. Заметим, что при этом мы получим ровно один, не обязательно оптимальный, критерий с некоторым фиксированным размером и мощностью.

Если же нужно получить критерий c заранее заданным размером  , либо иметь возможность варьировать и размер, и мощность критерия, то следует рассмотреть класс похожих критериев, введя свободный параметр:

там, где вторая плотность в   раз превосходит первую, выбирать вторую гипотезу, иначе — первую,

т.е. сравнивать отношение плотностей   не с единицей, а с некоторой постоянной  .

Назовем отношением правдоподобия  частное 

(18)

рассматривая его лишь при таких значениях  , когда хотя бы одна из плотностей отлична от нуля. Имеется в виду, что  ,  .

Конструкция критерия, который мы живописали выше, сильно усложнится в  случае, когда распределение случайной  величины   не является непрерывным, т.е. существует такое число  , что вероятность   отлична от нуля. Это означает, что на некотором «большом» множестве значений выборки обе гипотезы «равноправны»: отношение правдоподобия постоянно. Относя это множество целиком к критическому множеству или целиком исключая из него, мы меняем вероятность ошибки первого рода (размер) критерия на положительную величину  :

И если вдруг мы захотим приравнять вероятность ошибки первого рода к заранее выбранному числу  , может случиться так, что критерий с критическим множеством   имеет размер больший, чем  , а критерий с критическим множеством   — размер меньший, чем  .    

Поэтому для математиков, не читающих [1], мы сформулируем замечательно мощное утверждение мелким шрифтом, зато в общем случае. Затем для почти математиков сформулируем и докажем частный, но наиболее частый случай, когда отношение правдоподобия   имеет при верной первой гипотезе непрерывную функцию распределения, т.е.   для любого  .

Критерии согласия

Критериями согласия называют критерии, предназначенные для проверки простой гипотезы   при сложной альтернативе  . Мы рассмотрим более широкий класс основных гипотез, включающий и сложные гипотезы, а критериями согласия будем называть любые критерии, устроенные по одному и тому же принципу. А именно, пусть задана некоторая функция отклонения эмпирического распределения от теоретического, распределение которой существенно разнится в зависимости от того, верна или нет основная гипотеза. Критерии согласия принимают или отвергают основную гипотезу исходя из величины этой функции отклонения.

Итак, имеется выборка   из распределения  . Мы сформулируем ряд понятий для случая простой основной гипотезы, а в дальнейшем будем их корректировать по мере изменения задачи. Проверяется простая основная гипотеза   при сложной альтернативе  .

K1.

Пусть возможно задать функцию  , обладающую свойствами:

а)

если гипотеза   верна, то  , где   — непрерывное распределение;

б)

если гипотеза   неверна, то   при  .

K2.

Пусть такая функция   задана. Для случайной величины   из распределения   определим постоянную   из равенства  .

Построим критерий: 

(22)

Мы построили критерий согласия. Он «работает» по принципу: если для  данной выборки функция отклонения велика (по абсолютному значению), то это свидетельствует в пользу альтернативы, и наоборот. Убедимся в том, что этот критерий имеет (асимптотический) размер   и является состоятельным.

Определение 29.

Говорят, что критерий   для проверки простой гипотезы   является критерием асимптотического размера  , если его размер приближается к   с ростом  :

  при   .

 

Поскольку альтернатива   всегда является сложной, то, как мы уже отмечали в замечании 16, вероятность ошибки второго рода любого критерия   есть функция   от конкретного распределения   из списка возможных альтернатив  . Или, при ином виде основной гипотезы, из числа распределений, отвечающих альтернативе  .

 

Определение 30.

Критерий   для проверки гипотезы   против сложной альтернативы   называется состоятельным, если для любого распределения  , отвечающего альтернативе  , вероятность ошибки второго рода стремится к нулю с ростом объема выборки:

  при   .

 

Свойство 10.

Для критерия  , заданного в (22), при  :

1.

;

2.

 для любого распределения  , отвечающего  .

Иначе говоря, построенный  критерий имеет асимптотический  размер   и состоятелен.

 

Критерий Колмогорова

Имеется выборка   из распределения  . Проверяется простая гипотеза   против сложной альтернативы  . В том случае, когда распределение   имеет непрерывную функцию распределения  , можно пользоваться критерием Колмогорова. Пусть

Покажем, что   удовлетворяет условиям K1(a,б).

а)

Если   верна, то   имеют распределение  . По теореме Колмогорова  , где   имеет распределение с функцией распределения Колмогорова.

б)

Если гипотеза   неверна, то   имеют какое-то распределение  , отличное от  . По теореме Гливенко — Кантелли   для любого   при  . Поскольку  , найдется   такое, что . Но

Умножая на  , получим при  , что 

Пусть случайная величина   имеет распределение с функцией распределения Колмогорова Это распределение табулировано, так что по заданному  легко найти   такое, что  .

Критерий Колмогорова  выглядит так:

 

Критерии, основанные на доверительных интервалах

Имеется выборка   из семейства распределений  . Проверяется простая гипотеза   против сложной альтернативы  .

Пусть имеется точный (асимптотически точный) доверительный интервал  для параметра   уровня доверия  . Взяв произвольное  , для выборки из распределения   имеем

Тогда критерий

имеет точный (асимптотический) размер  . Действительно,

Если доверительный интервал строится с помощью «функции отклонения»  , то эта же функция годится и в качестве «функции отклонения»   для построения критерия согласия.

Пример 33.

Посмотрим на критерий (28). Основная гипотеза   принимается, только если  , что равносильно неравенству

Сравните то, что получилось, с  точным доверительным интервалом (13) для параметра   нормального распределения с известной дисперсией.

 

ТЕМА № 8 Оценивание статистической зависимости

Оценка ковариации и коэффициента корреляции. Доверительный интервал для коэффициента корреляции. Регрессионная  модель и уравнение регрессии. Оценки метода максимального правдоподобия  и метода наименьших квадратов (МНК) параметров уравнения регрессии. Множественная  линейная регрессия, оценка параметров уравнения по МНК. Числовые характеристики оценок параметров уравнения множественной  линейной регрессии. Оценка дисперсии  предсказания для модели множественной  линейной регрессии. Доверительные  интервалы для параметров линейной модели в случае нормального распределения  остатков. Значимость регрессионной  модели, коэффициент детерминации, критерий Фишера-Снедекора. Значимость коэффициентов регрессионной модели, критерий Стьюдента. Доверительный интервал для значений, определяемых уравнением уравнения регрессии.

Ковариация и  коэффициент корреляции

При формировании портфеля степень взаимосвязи между доходностями двух ценных бумаг можно определить с помощью таких показателей  как ковариация и коэффициент  корреляции.

Ковариация говорит о  степени зависимости двух случайных  величин. Она может принимать  положительные, отрицательные значения и равняться нулю. Если ковариация положительна, это говорит о том, что при изменении значения одной  переменной другая имеет тенденцию  изменяться в том же направлении. Так, при положительной ковариации доходностей двух бумаг с ростом доходности первой бумаги доходность второй также будет расти. При  падении доходности первой бумаги доходность второй также будет снижаться.

При отрицательной ковариации переменные имеют тенденцию изменяться в противоположных направлениях. В таком случае рост доходности первой бумаги будет сопровождаться падением доходности второй бумаги, и наоборот. Чем больше значение ковариации, тем  сильнее зависимость между переменными. Если ковариация равна нулю, никакой зависимости между переменными не наблюдается.

¹ Во многих учебниках по статистике встречается другое название индекса динамики – темп роста. Использование такого названия не совсем логично, так динамика может быть различна (не только рост, но и спад, а также стабильность), поэтому наиболее правильным является использование названия «индекс динамики» или «индекс изменения»