Лекции по "Математической статистике"

Решение. Записываем вариационный ряд:  {-1,18; -1,12; -0,85; -0,69; -0,28; -0,09; 0,02; 0,23; 0,31; 0,43; 0,60; 0,63; 0,70; 0,77; 1,13; 1,24; 2,10; 2,20; 2,28; 2,73}. Определяем число  интервалов группирования по формуле  Стерджесса: . Выберем в качестве нижней границы , в качестве верхней . Тогда длина каждого интервала (при условии равенстве длин интервалов): . Разбиваем на интервалы и формируем статистический ряд:

	4	5	6	1	4
	0,2	0,25	0,3	0,05	0,2
	0,25	0,3125	0,375	0,0625	0,25

 

Графическая иллюстрация  статистических рядов

В качестве графической иллюстрации  статистических рядов используются:

Полигон частот – ломанная, отрезки которой соединяют точки , либо (рис 1). Для дискретной случайной величины полигон частот является оценкой многоугольника распределения, для непрерывной случайной величины полигон частот есть оценка кривой плотности распределения.

 

Гистограмма частот - ступенчатая фигура, состоящая из прямоугольников, опирающихся на частичные интервалы. Высота -го прямоугольника полагается равной плотности частоты . Соответственно площадь каждого прямоугольника равна - относительной частоте. Гистограмма частот также является статистическим аналогом кривой плотности распределения (рис 2).

 

Эмпирическая  функция распределения

 

Эмпирической функцией распределения, полученной по выборке , называется функция, при каждом равная

,    (1.1)

где .

Очевидно, что  ступенчатая функция (рис 3), имеющая разрыва в точках, соответствующих, наблюдаемым выборочным значениям. Величина скачка в точке равна относительной частоте значения . Эмпирическая функция распределения является оценкой функции распределения.

 

 

Для любого эмпирическая функция распределения является случайной величиной, как функция случайных переменных .

Числовые характеристики выборки

В качестве числовых характеристик  выборки используются:

1. Выборочное среднее: .       (1.2)
2. Выборочная дисперсия .     (1.3)
3. Несмещенная выборочная дисперсия .    (1.4)
4. Выборочные начальные и центральные моменты

,    .    (1.5)

По статистическому ряду значения этих величин могут быть найдены по формулам:

,   ,   ,

,  .      (1.6)

(для группированных данных  формулы (1.6) дают приближенные  значения выборочных характеристик.). Выборочные характеристики очевидно есть числовые характеристики дискретной случайной величины, ряд распределения которой совпадает со статистическим рядом. Выборочные характеристики являются приближенными значениями соответствующих числовых характеристик случайной величины . Выборочные характеристики являются случайными величинами, т.к. являются функциями случайной выборки.

 

 

ТЕМА № 5 Точечное оценивание

Статистические оценки — это статистики, которые используются для оценивания неизвестных параметров распределений случайной величины.

Например, если   — это независимые случайные величины, с заданным нормальным распределением  , то   будет средним арифметическим результатов наблюдений.

Задача статистической оценки формулируется так:

Пусть   — выборка из генеральной совокупности с распределением  . Распределение   имеет известную функциональную форму, но зависит от неизвестного параметра  . Этот параметр может быть любой точкой заданного параметрического множества  . Используя статистическую информацию, содержащуюся в выборке  , сделать выводы о настоящем значении параметра  .

Несмещенность и состоятельность оценок

Рассмотрим оценку θ_n числового параметра θ, определенную при n = 1, 2, … Оценка θ_n называетсясостоятельной, если она сходится по вероятности к значению оцениваемого параметра θ при безграничном возрастании объема выборки. Выразим сказанное более подробно. Статистика θ_n является состоятельной оценкой параметра θ тогда и только тогда, когда для любого положительного числа ε справедливо предельное соотношение

Пример 3. Из закона больших чисел следует, что θ_n =   является состоятельной оценкой θ = М(Х) (в приведенной выше теореме Чебышёва предполагалось существование дисперсии D(X); однако, как доказал А.Я. Хинчин [6], достаточно выполнения более слабого условия – существования математического ожиданияМ(Х)).

Пример 4. Все указанные выше оценки параметров нормального распределения являются состоятельными.

Вообще, все (за редчайшими исключениями) оценки параметров, используемые в  вероятностно-статистических методах  принятия решений, являются состоятельными.

Пример 5. Так, согласно теореме В.И. Гливенко, эмпирическая функция распределения F_n(x) является состоятельной оценкой функции распределения результатов наблюдений F(x).

При разработке новых методов оценивания следует в первую очередь проверять  состоятельность предлагаемых методов.

Второе важное свойство оценок – несмещенность. Несмещенная оценка θ_n – это оценка параметра θ, математическое ожидание которой равно значению оцениваемого параметра: М(θ_n) = θ.

Пример 6. Из приведенных выше результатов следует, что   и   являются несмещенными оценками параметров m и σ² нормального распределения. Поскольку М( ) = М(m**) = m, то выборочная медиана   и полусумма крайних членов вариационного ряда m** - также несмещенные оценки математического ожиданияm нормального распределения. Однако

поэтому оценки s² и (σ²)** не являются состоятельными оценками дисперсии σ² нормального распределения.

Оценки, для которых соотношение М(θ_n) = θ неверно, называются смещенными. При этом разность между математическим ожиданием оценки θ_n и оцениваемым параметром θ, т.е. М(θ_n) – θ, называется смещением оценки.

Пример 7. Для оценки s², как следует из сказанного выше, смещение равно

М(s²) - σ² = - σ²/n.

Смещение оценки s² стремится к 0 при n → ∞.

Оценка, для которой смещение стремится  к 0, когда объем выборки стремится  к бесконечности, называетсяасимптотически несмещенной. В примере 7 показано, что оценка s² является асимптотически несмещенной.

Практически все оценки параметров, используемые в вероятностно-статистических методах принятия решений, являются либо несмещенными, либо асимптотически несмещенными. Для несмещенных оценок показателем точности оценки служит дисперсия – чем дисперсия  меньше, тем оценка лучше. Для смещенных  оценок показателем точности служит математическое ожидание квадрата оценки М(θ_n – θ)². Как следует из основных свойств математического ожидания и дисперсии,

   (3)

т.е. математическое ожидание квадрата ошибки складывается из дисперсии оценки и квадрата ее смещения.

Для подавляющего большинства оценок параметров, используемых в вероятностно-статистических методах принятия решений, дисперсия  имеет порядок 1/n, а смещение – не более чем 1/n, где n – объем выборки. Для таких оценок при больших n второе слагаемое в правой части (3) пренебрежимо мало по сравнению с первым, и для них справедливо приближенное равенство

   (4)

где с – число, определяемое методом вычисления оценок θ_n и истинным значением оцениваемого параметра θ.

Метод максимального  правдоподобия — еще один разумный способ построения оценки неизвестного параметра. Состоит он в том, что в качестве «наиболее правдоподобного» значения параметра берут значение  , максимизирующее вероятность получить при   опытах данную выборку  . Это значение параметра   зависит от выборки и является искомой оценкой.

Решим сначала, что такое  «вероятность получить данную выборку», т.е. что именно нужно максимизировать. Вспомним, что для абсолютно непрерывных  распределений   их плотность   — «почти» (с точностью до  ) вероятность попадания в точку  . А для дискретных распределений   вероятность попасть в точку   равна  . И то, и другое мы будем называть плотностью распределения  . Итак,

Определение 5.

Функцию

мы будем называть плотностью распределения  .

 

Для тех, кто знаком с понятием интеграла по мере, нет ничего странного  в том, что мы ввели понятие  плотности для дискретного распределения. Это — не плотность относительно меры Лебега, но плотность относительно считающей меры.

Если для дискретного  распределения величины   со значениями  ,  ,   ввести считающую меру   на борелевской  -алгебре как

Если же   имеет абсолютно непрерывное распределение, то   есть привычная плотность относительно меры Лебега  :

Определение 6.

Функция (случайная величина при фиксированном  )

называется функцией правдоподобия. Функция (тоже случайная)

называется логарифмической функцией правдоподобия.

В дискретном случае функция  правдоподобия   есть вероятность выборке  ,  ,   в данной серии экспериментов равняться  ,  ,  . Эта вероятность меняется в зависимости от  :

Определение 7.

Оценкой максимального  правдоподобия   неизвестного параметра   называют значение  , при котором функция   достигает максимума (как функция от   при фиксированных  ):

Замечание 7.

Поскольку функция   монотонна, то точки максимума   и   совпадают. Поэтому оценкой максимального правдоподобия (ОМП) можно называть точку максимума (по  ) функции  :

Напомним, что точки экстремума функции — это либо точки, в  которых производная обращается в нуль, либо точки разрыва функции/производной, либо крайние точки области определения  функции.

Пример 7.

Пусть  ,  ,   — выборка объема   из распределения Пуассона  , где  . Найдем ОМП   неизвестного параметра  .

Поскольку эта функция  при всех   непрерывно дифференцируема по  , можно искать точки экстремума, приравняв к нулю частную производную по  . Но удобнее это делать для логарифмической функции правдоподобия:

Тогда

и точка экстремума   — решение уравнения:  , то есть  .

 

Сравнение оценок.

Используя метод моментов и метод  максимального правдоподобия, мы получили для каждого параметра уже  достаточно много различных оценок. Каким же образом их сравнивать? Что должно быть показателем «хорошести» оценки?

Понятно, что чем дальше оценка отклоняется от параметра, тем она  хуже. Но величина   для сравнения непригодна: во-первых, параметр   неизвестен, во-вторых,   — случайная величина, так что эти величины обычно сравнить нельзя. Как, например, сравнивать   и  ? Или, на одном элементарном исходе,   и  ?

Поэтому имеет смысл сравнивать не отклонения как таковые, а средние значения этих отклонений, то есть  .

Но математическое ожидание модуля с.в. считать обычно затруднительно, поэтому более удобной характеристикой  для сравнения оценок считается  . Она удобна еще и тем, что очень чутко реагирует на маловероятные, но большие по абсолютному значению отклонения   от   (возводит их в квадрат).

Заметим еще, что   есть функция от  , так что сравнивать эти «среднеквадратические» отклонения нужно как функции от   — поточечно. Такой подход к сравнению оценок называется среднеквадратическим.

Разумеется, в зависимости от потребностей исследователя можно пользоваться и другими характеристиками, например,  или  .

Существует и так называемый асимптотический подход к сравнению оценок, при котором для сравнения оценок используется некая характеристика «разброса» оценки относительно параметра при больших  .