Лекции по "Математической статистике"

 

Пусть  ,  ,   — выборка объема   из параметрического семейства распределений  , где  .

Определение 8.

Говорят, что оценка   лучше оценки   в смысле среднеквадратического подхода, если для любого 

и хотя бы при одном   это неравенство строгое.

Существует ли среди всех оценок наилучшая в смысле среднеквадратического  подхода? Скептик сразу ответит  «нет». Покажем, что он прав. Предположим, что мы имеем дело с невырожденной  задачей: ни для какой статистики  невозможно тождество:   при любых  .

Теорема 4.

В классе всех возможных оценок наилучшей в смысле среднеквадратического подхода оценки не существует.

Доказательство теоремы 4. Пусть, напротив,   — наилучшая, то есть для любой другой оценки  , при любом   выполнено

Пусть   — произвольная точка  . Рассмотрим статистику  . Тогда

 при любом  .

В частности, при   получим  . Поэтому  . Но, поскольку   произвольно, то при любом   выполняется  . А это возможно только если   (оценка в точности отгадывает неизвестный параметр), т.е. для вырожденной с точки зрения математической статистики задачи. 

Вырожденными являются, например, следующие задачи:

 для выборки из  ,  , выполнено тождество  ;

 для выборки из  ,  , выполнено тождество  . 

Асимптотический подход к сравнению оценок

Возьмем две случайные величины:   из нормального распределения   и   из нормального распределения  . Если для  , например,  , то для   уже  . Разброс значений величины   гораздо больший, и дисперсия (показатель рассеяния) соответственно больше.

Что показывает коэффициент асимптотической  нормальности? Возьмем две АНО  с коэффициентами 1 и 100:

При больших   разброс значений величины   около нуля гораздо больше, чем у величины  , поскольку больше предельная дисперсия (она же коэффициент асимптотической нормальности).

Но чем меньше отклонение оценки от параметра, тем лучше. Отсюда —  естественный способ сравнения асимптотически нормальных оценок:

Определение 12.

Пусть   — АНО с коэффициентом  ,   — АНО с коэффициентом  . Говорят, что   лучше, чем   в смысле асимптотического подхода, если для любого 

и хотя бы при одном   это неравенство строгое.

Пример 13 (продолжение).    Сравним между собой в асимптотическом смысле оценки в последовательности  . Для   коэффициент асимптотической нормальности имеет вид  . Коэффициент тем меньше, чем больше  , то есть каждая следующая оценка в этой последовательности лучше предыдущей.

Оценка  , являющаяся «последней», могла бы быть лучше всех оценок в этой последовательности в смысле асимптотического подхода, если бы являлась асимптотически нормальной. 

Неравенство Рао — Крамера

Пусть  ,  ,   — выборка объема   из параметрического семейства распределений  ,  , и семейство   удовлетворяет условию регулярности (R).

Пусть, кроме того, выполнено условие

(RR)	«Информация Фишера»      существует, положительна и непрерывна по   во всех точках  .

 

Справедливо следующее утверждение.

Неравенство Рао — Крамера.

Пусть семейство распределений   удовлетворяет условиям (R) и (RR). Тогда для любой несмещенной оценки  , дисперсия которой   ограничена на любом компакте в области  , справедливо неравенство

 

ТЕМА № 6 Интервальное оценивание

Доверительный интервал и вероятность

Оценка параметра распределения  является приближенной величиной, поэтому  чтобы использовать ее необходимо знать  погрешность оценки, то есть границы  и интервала, в котором находится истинное значение оцениваемого параметра. Поскольку эти границы могут быть определены только на основании случайных результатов опыта, то они также являются случайными величинами. Следовательно, необходимо не только указать интервал , но и указать надежность этого интервала, то есть вероятность того, что истинное значение параметра будет лежать в данном интервале. Следует заметить, что чем больше уверенность, что параметр принадлежит интервалу, то тем больше интервал. Так что искать интервал, которому принадлежит с вероятностью 1 бессмысленно - это вся область возможных значений параметра.

Определение. Интервал , содержащий неизвестный параметр с заданной вероятностью , называют доверительным интервалом соответствующим доверительной вероятности . То есть, если , то - доверительный интервал, а - доверительная вероятность.

Замечание 1. Так как случайными являются границы интервала, а не параметр , то обычно говорят "интервал накрывает параметр ", а не " содержится в интервале ".

Замечание 2. Для дискретных распределений точное равенство  возможно не для всех значений , в этом случае под доверительным интервалом, соответствующим вероятности понимается интервал , удовлетворяющий условию .

Определение. Интервал называется асимптотическим доверительным интервалом для параметра соответствующим доверительной вероятности , если .

Число называют уровнем значимости, оно определяет вероятность того, что доверительный интервал не накроет оцениваемый параметр. Уровень значимости отделяет события практически невозможные от возможных. Выбор конкретного значения (или ) зависит от объема выборки и характера решаемой задачи. Обычно .

Общий принцип построения доверительных интервалов таков:

1. Находим статистику , зависящую от неизвестного параметра , закон распределения которой известен (и не зависит от ). Причем необходимо, чтобы статистика была обратима относительно .
2. Находим квантили и распределения статистики , такие что . Заметим, что существует бесконечное множество пар чисел , для которых . Обычно в качестве выбирают квантили распределения статистики уровней и соответственно. Напомним, что квантилем порядка случайной величины называется значение , для которого . (см. рис.)
3. Разрешив неравенство относительно , находим границы доверительного интервала.

Аналогично находится  и асимптотический доверительный  интервал, с той лишь разницей, что  на первом этапе находим статистику закон распределения которой при стремится к известному закону, не зависящему от параметра .

Доверительный интервал для математического ожидания нормальной величины при известном среднеквадратическом отклонении .

Пусть выборка, полученная из нормальной генеральной совокупности с известным среднеквадратичным отклонением . Требуется построить доверительный интервал для параметра , соответствующий доверительной вероятности .

Так как каждая из величин  распределена по закону , то выборочное среднее распределено также нормально с параметрами , . Тогда .

Найдем  и , для которых . Так как распределение симметрично, то разумно взять , где - квантиль распределения порядка (рис). Тогда:

,

или        (3.1)

или     , где   

 

Замечание 1. Если для нахождения квантилей используется функция Лапласа , то следует использовать соотношение: .

Пример. Найти доверительный интервал для математического ожидания нормальной случайной величины с надежностью , если , , .

Решение. Имеем - нормальная случайная величина с известным . Требуется построить доверительный интервал для математического ожидания этой величины, то есть для параметра . По таблицам функции Лапласа находим , для которого . Следовательно, . Таким образом, с вероятностью :

  или   .

Замечание 2. Если значение неизвестно, то с помощью статистики невозможно построить точный доверительный интервал для параметра нормальной случайной величины. Однако, при больших величину можно заменить состоятельной оценкой) (или ), построив статистику . Так как , то , то есть статистику можно использовать для построения АДИ для параметра . Тогда, если , - квантили распределения то: и искомый интервал имеет вид:  .

Кроме того, поскольку, в  соответствии с центральной предельной теоремой, величина распределена асимптотически нормально для любой случайной величины , имеющей конечные математическое ожидание и дисперсию, при больших эту величину можно использовать для построения асимптотических доверительных интервалов для математического ожидания при любом законе распределения величины . Если же неизвестна величина , то при больших ее можно заменить состоятельными оценками или .

Замечание 3. Функция не годится для построения доверительного интервала для нормальной случайной величины при известном параметре , а тем более при неизвестном а. Действительно, разрешая неравенство относительно , мы получим (при условии ) - бесконечный доверительный интервал.

Асимптотический доверительный  интервал для параметра l распределения Пуассона

Пусть выборка, полученная из генеральной совокупности случайной величины , распределенной по закону Пуассона с неизвестным параметром . Требуется построить доверительный интервал для параметра , соответствующий доверительной вероятности .

Рассмотрим статистику . В соответствии с ЦПТ, при . Пусть квантиль распределения уровня ( ), тогда:

.

Однако, разрешить неравенство относительно не просто из-за корня в знаменателе. Попробуем заменить в знаменателе на состоятельную оценку этого параметра , построив статистику . Не изменится ли при этом характер сходимости? Вспомним свойство сходимости по распределению: если а , то . Тогда: , т.к. .

Следовательно    ,

или     .

Таким образом, искомый асимптотический  доверительный интервал уровня имеет вид:

.   (3.3)

Асимптотический доверительный  интервал для параметра a показательного распределения

Пусть выборка, полученная из генеральной совокупности случайной величины , распределенной по показательному закону с неизвестным параметром . Требуется построить доверительный интервал для параметра , соответствующий доверительной вероятности .

Рассмотрим статистику . В соответствии с ЦПТ, при . Пусть квантиль распределения уровня ( ), тогда:

,

или     .

Таким образом, искомый асимптотический  доверительный интервал уровня имеет вид:

.    (3.3)

Распределения, связанные  с нормальным

Поставим задачу: построить  точные ДИ для параметров нормального  распределения.

1. Для параметра при известном - уже построен - (3.1).
2. Для параметра при неизвестном .
3. Для параметра при известном .
4. Для параметра при неизвестном .

Для построения подходящих статистик, рассмотрим ряд распределений, связанных с нормальным.

Гамма распределение  и его свойства.

Определение. Случайная величина имеет гамма распределение , где , , если ее плотность распределения имеет вид:

     (3.4)

Здесь - гамма функция. , , .

Найдем характеристическую функцию случайной величины :

      (3.5)

Используя, характеристическую функцию легко найти математическое ожидание и дисперсию гамма-распределения: