Статистические оценки неизвестных параметров распределения. Несмещённые эффективные и состоятельные оценки. Оценки генеральной средне

Статистические  оценки неизвестных параметров распределения. Несмещённые эффективные и состоятельные  оценки. Оценки генеральной средней  выборочной средней.

§ 1. Статистические оценки параметров распределения

Пусть требуется изучить количественный признак генеральной совокупности. Допустим, что из теоретических соображений  удалось установить, какое именно распределение имеет признак. Естественно  возникает задача оценки параметров, которыми определяется это распределение. Например, если наперед известно, что изучаемый признак распределен в генеральной совокупности нормально, то необходимо оценить (приближенно найти) математическое ожидание и среднее квадратическое отклонение, так как эти два параметра полностью определяют нормальное распределение; если же есть основания считать, что признак имеет, например, распределение Пуассона, то необходимо оценить параметр λ, которым это распределение определяется.

Обычно  в распоряжении исследователя имеются  лишь данные выборки, например значения количественного признака x₁, х₂, . . . , х_п, полученные в результате п наблюдений (здесь и далее наблюдения предполагаются независимыми). Через эти данные и выражают оцениваемый параметр. Рассматривая x₁, х₂, . . . , х_п, как независимые случайные величины X₁, Х₂, . . ., Х_n, можно сказать, что найти статистическую оценку неизвестного параметра теоретического распределения - это значит найти функцию от наблюдаемых случайных величин, которая и дает приближенное значение оцениваемого параметра. Например, как будет показано далее, для оценки математического ожидания нормального распределения служит функция (среднее арифметическое наблюдаемых значений признака)

=(X₁+X₂+…+X_n)/n

Итак, статистической оценкой неизвестного параметра теоретического распределения  называют функцию от наблюдаемых  случайных величин.

§ 2. Несмещенные, эффективные и состоятельные  оценки

Для того чтобы статистические оценки давали «хорошие» приближения оцениваемых  параметров, они должны удовлетворять  определенным требованиям. Ниже указаны  эти требования.

Пусть Θ* - статистическая оценка неизвестного параметра в теоретического распределения. Допустим, что по выборке объема п найдена оценка Θ₁*. Повторим опыт, т. е. извлечем из генеральной совокупности другую выборку того же объема и по ее данным найдем оценку Θ₁*. Повторяя опыт многократно, получим числа Θ₁*, Θ₁*, ..., Θ_k*, которые, вообще говоря, различны между собой. Таким образом, оценку Θ* можно рассматривать как случайную величину, а числа Θ₁*, Θ₁*, ..., Θ_k*-как ее возможные значения.

Представим  себе, что оценка Θ* дает приближенное значение Θ с избытком; тогда каждое найденное по данным выборок число Θ_i* (i = 1, 2, .... k) больше истинного значения Θ. Ясно, что в этом случае и математическое ожидание (среднее значение) случайной величины Θ* больше, чем Θ, т. е. М (Θ*) > Θ. Очевидно, что если Θ* дает оценку с недостатком, то М (Θ*) < Θ.

Таким образом, использование статистической оценки, математическое ожидание которой  не равно оцениваемому Параметру, привело  бы к систематическим *⁾ (одного знака) ошибкам. По этой причине естественно потребовать, чтобы математическое ожидание оценки Θ* было равно оцениваемому параметру. Хотя соблюдение этого требования не устранит ошибок (одни значения Θ* больше, а другие меньше Θ), однако ошибки разных знаков будут встречаться одинаково часто. Иными словами, соблюдение требований            М (Θ*) = Θ гарантирует от получения систематических ошибок.

Несмещенной называют статистическую оценку Θ*, математическое ожидание которой равно оцениваемому параметру Θ при любом объеме выборки, т. е.

М (Θ*) = Θ.

*⁾ В теории ошибок измерений систематическими ошибками называют неслучайные ошибки, искажающие результаты измерений в одну определенную сторону. Например, измерение длины растянутой рулеткой систематически дает заниженные результаты.

Смещенной называют оценку, математическое ожидание которой не равно оцениваемому параметру.

Однако  было бы ошибочным считать, что несмещенная  оценка всегда дает хорошее приближение  оцениваемого параметра. Действительно, возможные значения Θ* могут быть сильно рассеяны вокруг своего среднего значения, т. е. дисперсия D (Θ*) может быть значительной. В этом случае найденная по данным одной выборки оценка, например Θ₁*, может оказаться весьма удаленной от среднего значения *, а значит, и от самого оцениваемого параметра Θ; приняв Θ₁* в качестве приближенного значения Θ, мы допустили бы большую ошибку. Если же потребовать, чтобы дисперсия Θ* была малой, то возможность допустить большую ошибку будет исключена. По этой причине к статистической оценке предъявляется требование эффективности.

Эффективной называют статистическую оценку, которая (при заданном объеме выборки n) имеет наименьшую возможную дисперсию.

При рассмотрении выборок большого объема (n велико!) к статистическим оценкам предъявляется требование состоятельности.

Состоятельной называют статистическую оценку, которая при n→∞ стремится по вероятности к оцениваемому параметру. Например, если дисперсия несмещенной оценки при n→∞ стремится к нулю, то такая оценка оказывается и состоятельной.

§ 3. Генеральная  средняя

Пусть изучается дискретная генеральная  совокупность относительно количественного признака X.

Генеральной средней  называют среднее арифметическое значений признака генеральной совокупности.

Если  все значения x₁, х₂, …, x_N признака генеральной совокупности объема N различны, то

.

Если  же значения признака x₁, х₂, …, x_k имеют соответственно частоты N₁, N₂, ..., N_k , причем N₁ +N₂+…+N_k=N ,то

,

т. е. генеральная  средняя есть средняя взвешенная значений признака с весами, равными  соответствующим частотам.

Замечание. Пусть генеральная совокупность объема N содержит объекты с различными значениями признака X, равными x₁, х₂, …, x_N. Представим себе, что из этой совокупности наудачу извлекается один объект. Вероятность того, что будет извлечен объект со значением признака, например x₁ очевидно, равна 1/N. С этой же вероятностью может быть извлечен и любой другой объект. Таким образом, величину признака X можно рассматривать как случайную величину, возможные значения которой x₁, х₂, …, x_n имеют одинаковые вероятности, равные 1 /N. Найдем математическое ожидание М(Х):

Итак, если рассматривать  обследуемый признак X генеральной совокупности как случайную величину, то математическое ожидание признака равно генеральной средней этого признака:

.

Этот вывод  мы получили, считая, что все объекты  генеральной совокупности имеют  различные значения признака. Такой  же итог будет получен, если допустить, что генеральная совокупность содержит по нескольку объектов с одинаковым значением признака.

Обобщая полученный результат на генеральную совокупность с непрерывным распределением признака X, и в этом случае определим генеральную среднюю как математическое ожидание признака:

.

§ 4. Выборочная средняя

Пусть для изучения генеральной совокупности относительно количественного признака X извлечена выборка объема п.

Выборочной  средней называют среднее арифметическое значение признака выборочной совокупности.

Если  все значения x₁, х₂, …, x_n признака выборки объема n различны, то

Если  же значения признака x₁, х₂, …, x_k имеют соответственно частоты n₁, n₂, …, n_k, причем п₁ + п₂+… + n_k = n, то

,

или

,

т.е. выборочная средняя есть средняя взвешенная значений признака с весами, равными  соответствующим частотам.

Замечание. Выборочная средняя, найденная по данным одной выборки, есть, очевидно, определенное число. Если же извлекать другие выборки того же объема из той же генеральной совокупности, то выборочная средняя будет изменяться от выборки к выборке. Таким образом, выборочную среднюю можно рассматривать как случайную величину, а следовательно, можно говорить о распределениях (теоретическом и эмпирическом) выборочной средней и о числовых характеристиках этого распределения (его называют выборочным), в частности о математическом ожидании и дисперсии выборочного распределения.

Заметим, что в теоретических рассуждениях выборочные значения x₁, х₂, …, x_n признака X, полученные в итоге независимых наблюдений, также рассматривают как случайные величины X_l, X₂, ..., Х_n, имеющие то же распределение и, следовательно, те же числовые характеристики, которые имеют X.

§ 5. Оценка генеральной средней по выборочной средней. Устойчивость выборочных средних

Пусть из генеральной совокупности (в результате независимых наблюдений над количественным признаком X) извлечена повторная выборка объема п со значениями признака x₁, х₂, …, x_n. Не уменьшая общности рассуждений, будем считать эти значения признака различными. Пусть генеральная средняя х_г неизвестна и требуется оценить ее по данным выборки. В качестве оценки генеральной средней принимают выборочную среднюю

Убедимся, что  - несмещенная оценка, т. е. покажем, что математическое ожидание этой оценки равно . Будем рассматривать как случайную величину и x₁, х₂, …, x_n как независимые, одинаково распределенные случайные величины X_l, X₂, .... Х_n . Поскольку эти величины одинаково распределены, то они имеют одинаковые числовые характеристики, в частности одинаковое математическое ожидание, которое обозначим через а. Так как математическое ожидание среднего арифметического одинаково распределенных случайных величин равно математическому ожиданию каждой из величин (см. гл. VIII, § 9), то

                              (*)

Приняв  во внимание, что каждая из величин X_l, X₂, ..., Х_n имеет то же распределение, что и генеральная совокупность (которую мы также рассматриваем как случайную величину), заключаем, что и числовые характеристики этих величин и генеральной совокупности одинаковы. В частности, математическое ожидание а каждой из величин равно математическому ожиданию признака X генеральной совокупности, т. е.

Заменив в  формуле (*) математическое ожидание а на , окончательно получим

Тем самым  доказано, что выборочная средняя  есть несмещенная оценка генеральной  средней.

Легко показать, что выборочная средняя является и состоятельной оценкой генеральной средней. Действительно, допуская, что случайные величины X_l, X₂, ..., Х_n имеют ограниченные дисперсии, мы вправе применить к этим величинам теорему Чебышева (частный случай), в силу которой при увеличении п среднее арифметическое рассматриваемых величин, т.е. , стремится по вероятности к математическому ожиданию а каждой из величин, или, что то же, к генеральной средней (так как =а).

Итак, при увеличении объема выборки п выборочная средняя стремится по вероятности к генеральной средней, а это и означает, что выборочная средняя есть состоятельная оценка генеральной средней. Из сказанного следует также, что если по нескольким выборкам достаточно большого объема из одной и той же генеральной совокупности будут найдены выборочные средние, то они будут приближенно равны между собой. В этом и состоит свойство устойчивости выборочных средних.

Заметим, что если дисперсии двух одинаково  распределенных совокупностей равны  между собой, то близость выборочных средних к генеральным не зависит  от отношения объема выборки к  объему генеральной совокупности. Она зависит от объема выборки: чем объем выборки больше, тем меньше выборочная средняя отличается от генеральной. Например, если из одной совокупности отобран 1% объектов, а из другой совокупности отобрано 4% объектов, причем объем первой выборки оказался большим, чем второй, то первая выборочная средняя будет меньше отличаться от соответствующей генеральной средней, чем вторая.

 

Замечание. Мы предполагали выборку повторной. Однако полученные выводы применимы и для бесповторной выборки, если ее объем значительно меньше объема генеральной совокупности. Это положение часто используется на практике.