Закон больших чисел. Критерий однородности Смирнова

Пусть имеется  выборка  , являющаяся реализацией случайной выборки из генеральной совокупности , плотность распределения которой зависит от неизвестного параметра .

       Статистические гипотезы относительно  неизвестного истинного значения  параметра  называют параметрическими гипотезами. При этом если - скаляр, то речь идет об однопараметрических гипотезах, а если вектор – то о многопараметрических гипотезах.

       Статистическую гипотезу  называют простой, если она имеет вид

 

 

где - некоторое заданное значение параметра.

       Статистическую гипотезу  называют сложной, если она имеет вид

 

 

где - некоторое множество значений параметра , состоящее более чем из одного элемента.

       В случае проверки двух простых  статистических гипотез вида

 

 

где - два заданных (различных ) значения параметра, первую гипотезу обычно называют основной, а вторую - альтернативной, или конкурирующей гипотезой.

       Критерием, или статистическим  критерием, проверки гипотез называют  правило, по которому по данным  выборки  принимается решение о справедливости либо первой, либо второй гипотезы.

       Критерий задают с помощью  критического множества  , являющегося подмножеством выборочного пространства случайной выборки . Решение принимают следующим образом:

1. если выборка принадлежит критическому множеству , то отвергают основную гипотезу и принимают альтернативную гипотезу ;
2. если выборка не принадлежит критическому множеству (т. е. принадлежит дополнению множества до выборочного   пространства ), то отвергают альтернативную гипотезу и принимают основную гипотезу .

При использовании  любого критерия возможны ошибки следующих  видов:

1. принять гипотезу , когда верна - ошибка первого рода;
2. принять гипотезу , когда верна - ошибка второго рода.

     Вероятности совершения ошибок  первого и второго рода обозначают  и :

 

 

где  - вероятность события при условии, что справедлива гипотеза Указанные вероятности вычисляют с использованием функции плотности распределения случайной выборки :

 

 

 

Вероятность совершения ошибки первого рода также называют уровнем значимости критерия.

Величину  , равную вероятности отвергнуть основную гипотезу , когда она верна, называют мощностью критерия.

 

 

1.2.3. Критерий однородности Смирнова

 

  Предполагается, что функции распределения   и   являются непрерывными. Статистика критерия Смирнова измеряет различие между эмпирическими функциями распределения, построенными по выборкам

.

При практическом использовании критерия значение статистики   рекомендуется вычислять в соответствии с соотношениями [3]

,

,

.

Если гипотеза   справедлива, то при неограниченном увеличении объемов выборок   , т.е. статистика

                                                          (1)

в пределе  подчиняется распределению Колмогорова  . Однако при ограниченных значениях m и  n случайные величины   и   являются дискретными, и множество их возможных значений представляет собой решетку с шагом  , где k наименьшее общее кратное m и  n. Для значений   таблицы процентных точек для статистики   приводятся в [3]. Условное распределение   статистики   при справедливости гипотезы   медленно сходится к   и существенно отличается от него при не очень больших m и  n.

На рис. 1 показаны условные распределения  статистики (1) при справедливости   в зависимости от m и  n (при m=n). Как следует из полученной картины, даже при  и    ступенчатость   сохраняется. Другим недостатком применения критерия со статистикой (1) является то (см. рис. 1), что распределения   с ростом m и n приближаются к предельному распределению   слева.

Рис. 1. Распределения статистики (1) при справедливости 

 в зависимости от m и n 

Гладкость распределения статистики сильно зависит  от величины k. Поэтому предпочтительнее применять критерий, когда объемы выборок m и n не равны и представляют собой взаимно простые числа. В таких случаях наименьшее общее кратное  m и n максимально и равно  , а распределение статистики существенно больше напоминает непрерывную функцию распределения. И вот тогда при небольших и умеренных значениях m и  n проявляется существенное отличие распределения   от предельного  , так как   заметно сдвинуто влево от  .

В этой связи  можно предложить следующую простую  модификацию статистики (1), 

,                                           (2)

у которой  практически отсутствует последний  недостаток. Условные распределения статистики (2) при справедливости   в зависимости от m и  n (при m=n) иллюстрирует рис. 2. 

 

Рис. 2. Распределения статистики (2) при справедливости 

 в зависимости от m и  n 

Как было сказано выше, гладкость распределения  статистики зависит от величины k. В качестве иллюстрации этого факта и различий в распределениях статистик (1) и (2) на рис. 3 приведено предельное распределение Колмогорова   и полученные в результате моделирования эмпирические распределения   статистики (1) и   статистики (2) при m=61 и n=53 . Как видим, распределение статистики (1) существенно отличается от распределения Колмогорова  , а распределение статистики (2) визуально практически совпадает с ним. Объем выборок смоделированных значений статистик в данном случае, как и во всех остальных в данной работе, составил 10000 наблюдений. При проверке согласия полученного эмпирического распределения статистики (2) с распределением Колмогорова достигнутые уровни значимости по соответствующим критериям составили: 0.72 по критерию   Пирсона (при 10 равновероятных интервалах), 0.83 по критерию Колмогорова, 0.97 по критерию   Крамера-Мизеса-Смирнова, 0.94 по критерию   Андерсона-Дарлинга.

Рис. 3. Распределения статистики (1) и (2) при справедливости 

, m=61 и n=53  

 

Использование в критерии Смирнова со статистикой (2) взаимно простых m и n делает более обоснованным вычисление достигаемого уровня значимости  , где   – значение статистики (2), найденное при проверке гипотезы   по конкретным выборкам, в соответствии с распределением Колмогорова:  . Соответственно, более правомерно применение в критерии процентных точек (квантилей) распределения Колмогорова. Этого нельзя сказать относительно критерия Смирнова со статистикой (1), так как в этом случае критические значения, определяемые по распределению Колмогорова, оказываются завышенными по сравнению с истинными. Следовательно, проверяемая гипотеза может необоснованно приниматься (не отклоняться).

Коэффициент 4.6 в статистике (2) подобран эмпирически. Он удовлетворительно действует от малых до очень приличных объемов выборок (m= =n =1000). Однако при больших значениях наименьшего общего кратного m и  n, когда они представляют собой взаимно простые числа, величина этого коэффициента должна быть несколько уменьшена. Например, при простых m=641 и n=643 коэффициент 4.6 следует заменить на 3.4.

Ниже  при исследовании мощности критерия Смирнова рассматривались распределения статистики (1). Но все выводы относительно мощности справедливы и для критерия со статистикой (2), так как все распределения при одинаковых объемах выборок оказываются сдвинутыми на одну и ту же величину.

Предвосхищая  вопросы о точности, отметим, что  для проверки соответствия результатов  моделирования нами специально моделировались распределения статистики  . Результаты показали полное совпадение критических значений, получаемых в процессе моделирования, с точными критическими значениями статистики.

В данной работе мощность критериев проверки однородности исследовалась при ряде альтернатив. Для определенности гипотезе   соответствовала принадлежность выборок одному и тому же стандартному нормальному закону распределения с плотностью

с параметрами  сдвига   и масштаба  . При всех альтернативах первая выборка всегда соответствовала стандартному нормальному закону, а вторая – некоторому другому. В частности, в случае гипотезы   вторая выборка соответствовала нормальному закону с параметром сдвига   и параметром масштаба  . В случае гипотезы   – нормальному закону с параметрами   и  . В случае гипотезы   – нормальному закону с параметрами   и  . В случае гипотезы   – нормальному закону с параметрами   и  . В случае гипотезы   – вторая выборка соответствовала логистическому закону с плотностью

и параметрами   и  . Нормальный и логистический законы очень близки и трудно различимы с помощью критериев согласия. На рис. 4 представлены полученные в результате моделирования условные распределения статистики   при справедливости  , на основании которых можно оценить значения мощности при различных значениях объемов выборок m и n. 

 

Рис. 4. Распределения статистики (1) при справедливости 

 

 

 

Аналогичным образом при различных объемах  выборок были построены условные распределения статистики (1) при  справедливости других рассматриваемых  альтернатив:  ,  ,  .  На основании этих распределений и предельного распределения статистики  =  были вычислены значения мощности критерия относительно различных альтернатив. Найденные значения мощности   критерия Смирнова, где   - вероятность ошибки второго рода, относительно рассматриваемых конкурирующих гипотез   ÷   при различных объемах выборок для уровней значимости (вероятностей ошибок первого рода)  =0.1, 0.05, 0.025 представлены в таблице 1.  

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Таблица 1. Мощность критерия однородности Смирнова относительно  ÷   в зависимости от объемов выборок (m=n )

Уровень значимости	Значения мощности относительно альтернативы
	n=20	n=50	n=100	n=300	n=500	n=1000	n=2000
0,1	0,0937	0,1480	0,1766	0,2775	0,3806	0,6171	0,8688
0,05	0,0410	0,0569	0,0944	0,1883	0,2682	0,4899	0,7762
0,025	0,0410	0,0344	0,0505	0,1163	0,1829	0,3859	0,6737
	Значения мощности относительно альтернативы
0,1	0,3457	0,7200	0,9332	1	1	1	1
0,05	0,2202	0,5341	0,8722	0,9996	1	1	1
0,025	0,2202	0,4328	0,7842	0,9992	1	1	1
	Значения мощности относительно альтернативы
0,1	0,0884	0,1229	0,1257	0,1466	0,1856	0,2967	0,5508
0,05	0,0352	0,0458	0,0630	0,0789	0,1024	0,1677	0,3520
0,025	0,0352	0,0257	0,0280	0,0410	0,0518	0,0967	0,2098
	Значения мощности относительно альтернативы
0,1	0,1396	0,2986	0,5213	0,9609	0,9989	1	1
0,05	0,0570	0,1268	0,3161	0,8977	0,9952	1	1
0,025	0,0570	0,0763	0,1689	0,7738	0,9786	1	1
	Значения мощности относительно альтернативы
0,1	0,0836	0,1209	0,1308	0,1568	0,1976	0,3191	0,5639
0,05	0,0341	0,0455	0,0673	0,0891	0,1158	0,1879	0,3754
0,025	0,0341	0,0258	0,0316	0,0471	0,0618	0,1119	0,2390