Статистические пакеты для обработки и анализа данных

КОРРЕЛЯЦИИ

В системе имеется  большой набор методов для  исследования корреляций между переменными. Прежде всего, могут быть вычислены  все обычно используемые характеристики связи между переменными, в том числе: коэффициент корреляции Пирсона r, коэффициент ранговой корреляции Спирмена R, tau (b, c) Кендалла, Гамма, тетрахорический r, Phi, V Крамера, коэффициент сопряженности C, D Соммера, коэффициенты неопределенности, частные и получастные корреляции, автокорреляции, различные меры расхождения и т.д. (нелинейные корреляции, регрессия для цензурированных данных и другие более специальные меры корреляции реализованы в модулях Нелинейное оценивание, Анализ выживаемости и других). Корреляционные матрицы могут быть вычислены с построчным либо попарным удалением пропусков или с подстановкой среднего значения вместо пропущенных значений. Как и во всех других модулях системы STATISTICA, для достижения высокой - не имеющей аналогов среди других пакетов - точности результатов здесь можно производить вычисления с повышенной точностью (где требуется - с "учетверенной"). Как и вообще все численные результаты, корреляционные матрицы в системе STATISTICA выводятся в виде таблиц, имеющих богатые возможности форматирования данных (см. ниже) и визуализации численных результатов; так, можно "указать" на конкретный корреляционный коэффициент и вызвать для него контекстное меню всевозможных "описательных диаграмм" (диаграммы рассеяния с доверительными интервалами, различные объемные гистограммы двумерных распределений, вероятностные графики и т.д.). Богатые средства закрашивания позволяют выделять (или, наборот, затенять) отдельные точки на диаграмме рассеяния и таким образом оценивать их влияние на положение линии регрессии (и других подогнанных кривых). Таким образом исследуются, например, выбросы или резко выделяющиеся наблюдения. Поддерживаются разнообразные форматы глобального вывода корреляций; значимые коэффициенты корреляции могут автоматически выделяться цветом, каждую ячейку таблицы результатов можно расширить и посмотреть число n наблюдений, по которым вычислен коэффициент и уровень значимости p, можно запросить подробные результаты, включающие все описательные статистики (попарные средние и стандартные отклонения, B-веса, пересечения, и т.д.). В таблице результатов можно просматривать очень большие корреляционные матрицы (размером до 4096 x 4096), а с помощью процедуры больших корреляций и таблиц результатов модуля Менеджер мегафайлов можно вычислять матрицы практически неограниченного размера (до 32000 x 32000). Как и все численные результаты, корреляционные матрицы выводятся в виде таблиц, поддерживающих операцию масштабирования и интерактивно управляемый формат вывода значащих цифр (например, от +0.4 до +0.41358927645193); таким образом, матрицы больших размеров можно сжимать (с помощью операции уменьшения, либо изменением формата вывода, что делается перетягивнием границ столбцов с помощью мыши). Это облегчает зрительное восприятие и, в частности, помогает быстро находить коэффициенты, превосходящие заданную величину или имеющиее определенный уровень значимости (соответствующие ячейки в таблице результатов будут помечены красным цветом). Как и во всех других диалоговых окнах вывода, здесь доступны различные общие параметры графического вывода, позволяющие проводить дальнейшее изучение закономерностей и взаимосвязей между переменными; например, двух- и трехмерные диаграммы рассеяния (с метками наблюдений или без них) служат для выявления зависимостей по подмножествам наблюдений или последовательностям переменных. Корреляционные матрицы могут быть категоризованы группирующими переменными и представляться графически в виде категоризованных диаграмм рассеяния. Могут быть также выведены последовательности таблиц результатов "группировки корреляционных матриц" (по одной матрице на каждое подмножество наблюдений). Вся корреляционная матрица может быть представлена на одном графике (со сколь угодно большим разрешением) в виде матрицы диаграмм рассеяния; такие матрицы можно интерактивно просматривать, "увеличивая" нужные участки графика (или прокручивая график в режиме увеличения) [см. рис.]. Имеется также возможность строить категоризованные матричные диаграммы рассеяния (одна матричная диаграмма на каждое подмножество данных). Можно поступить иначе и построить матричные диаграммы рассеяния для нескольких подмножеств (например, задаваемых уровнями группирующей переменной или сколь угодно сложными условиями выбора наблюдений), где отдельные подмножества данных изображаются различными маркерами. Для визуализации корреляционных матриц и поиска в них глобальных закономерностей имеется еще много других графических методов (контурные графики, несглаженные поверхности, пиктограммы и т.д.). Все эти операции требуют лишь нескольких щелчков мыши, а для выбора параметров предоставляются различные средства быстрого доступа. Одновременно на экране можно открыть любое число таблиц результатов и графиков, что принципиально облегчает интерактивный разведочный и сравнительный анализ. См. также следующий раздел, посвященный быстрым основным статистикам.

ИНТЕРАКТИВНЫЕ БЫСТРЫЕ ОСНОВНЫЕ СТАТИСТИКИ И БЛОКОВЫЕ СТАТИСТИКИ

В дополнение к описательным статистикам и корреляциям (о них было рассказано в двух предыдущих разделах) и таблицам частот (см. далее) в системе имеются интерактивные средства, позволяющие одним щелчком мыши вычислять основные статистики и строить графики в любой момент в течение сеанса работы. Эти быстрые основные статистики доступны из всех панелей инструментов и контекстных меню и выдают результат немедленно без каких-либо промежуточных диалоговых окон (см. иллюстрацию), если только пользователь не выберет другой режим. Более того, по умолчанию эти быстрые процедуры даже не требуют, чтобы были выбраны переменные для анализа - они выбираются автоматически по выделенному блоку ячеек или диапазону столбцов (или строк) в открытой в данный момент таблице исходных данных или таблице результатов. Быстрые основные статистики - очень удобный способ быстро получать "общие" сведения об исследуемых переменных. Сюда входит полный набор описательных статистик (включая порядковые статистики), корреляции и таблицы частот вместе с ожидаемыми нормальными частотами и другие числовые характеристики, а также большой набор встроенных статистических графиков. Выходные результаты для всех статистик и графиков могут быть категоризованы (сгруппированы по значениям некоторой другой переменной). Кроме того, все входные и выходные таблицы системы STATISTICA поддерживают функции Блоковые статистики и Блоковые статистические графики (см. иллюстрацию), выдающие статистики и статистические графики для произвольного выделенного блока ячеек в открытой в данный момент таблице исходных данных или таблице результатов . Результаты можно выводить по столбцам или по строкам выделенного блока в зависимости от смысла содержащихся в нем данных (исходные данные, нагрузки факторов, средние значения, частоты и т.д.). Например, применив метод Монте-Карло из модуля SEPATH (Моделирование структурными уравнениями и анализ путей), можно выделить блок чисел (например, оценок параметров для последовательных испытаний) в таблице результатов и построить для них описательные статистики (средние значения, медианы, квартили), гистограммы, вероятностные графики, диаграммы размаха и т.д.

ИНТЕРАКТИВНЫЙ ВЕРОЯТНОСТНЫЙ КАЛЬКУЛЯТОР

Из любой панели инструментов системы STATISTICA доступен удобный интерактивный Калькулятор вероятностных распределений.В него заложено много типов стандартных распределений (бета, Коши, хи-квадрат, экспоненциальное, экстремальное (Гумбеля), F, гамма, Лапласа, логнормальное, логистическое, Парето, Релея, t (Стьюдента), Вейбулла и Z (нормальное)). Диалоговое окно содержит интерактивно обновляемые графики (плотности вероятности и функции распределения), позволяющие наглядно представить себе то или иное распределение, пользуясь при этом удобным инструментом - кнопками микропрокрутки. С помощью этих кнопок можно быстро менять последнюю (левой кнопкой мыши) или предпоследнюю (правой кнопкой) значащую цифру числа. Имеется возможность строить настраиваемые составные графики распределений для нужного диапазона. Таким образом, калькулятор дает возможность интерактивно исследовать структуру распределений (например, зависимость вероятности от параметров).

T-КРИТЕРИИ (и  другие критерии групповых различий)

В этом окне могут быть вычислены T-критерии для зависимых  и независимых выборок, а также  многомерный критерий T 2 Хотеллинга (относительно сравнений средних  значений для одномерных и многомерных  данных смотрите также раздел, посвященный модулю Дисперсионный анализ). Как и везде в системе, во всех меню результатов имеются функции подробной диагностики и графического представления. Так например, в случае t-критериев для независимых выборок имеется возможность вычислить t-критерий с раздельными оценками дисперсий и критерий Левена однородности дисперсии, построить различные диаграммы размаха, категоризованные гистограммы, вероятностные графики, категоризованные диаграммы рассеяния и т.д. Более специальные критерии групповых различий реализованы в некоторых дpугих модулях (Непараметрическая статистика, Анализ выживаемости, Надежность и позиционный анализ).

ТАБЛИЦЫ ЧАСТОТ, ТАБЛИЦЫ СОПРЯЖЕННОСТИ, ТАБЛИЦЫ  ФЛАГОВ И ЗАГОЛОВКОВ, АНАЛИЗ МНОГОМЕРНЫХ  ОТКЛИКОВ

В системе имеются развитые средства для табуляции непрерывных и категориальных переменных, переменных множественного отклика и многомерных дихотомий. Вид таблиц и формат данных в них регулируется многочисленными функциями. Так например, в таблицах для переменных множественного отклика или многомерных дихотомий маргинальные частоты и процентные показатели могут вычисляться по отношению к общему числу респондентов либо числу ответов, переменные множественного отклика можно обрабатывать парами, имеются различные варианты обработки пропущенных данных. Таблицы частот могут быть вычислены для заданных пользователем логических условий выбора наблюдений (условия могут быть любой степени сложности и связывать любые переменные в текущем файле данных), относящих наблюдения к той или иной категории в таблице. Все таблицы можно настроить для вывода результатов в форме конечного отчета (для публикации). Например, не имеющую аналогов в других пакетах "многовходовую итоговую таблицу" можно вывести с группировками и иерархическим упорядочением факторов; в ячейках таблицы сопряженности могут выводиться процентны по столбцу, по строке или проценты от общего числа наблюдений в таблице; для описания категорий в таблице можно использовать длинные метки значений; частоты, превышающие заданный пользователем уровень можно выделить цветом и т.д. Программа может выводить кумулятивные (суммарные или накопленные) частоты и относительные частоты, логит- и пробит-преобразованные частоты, ожидаемые нормальные частоты (а также значения статистик Колмогорова-Смирнова, Лилиефорса и Шапиро-Уилкса), ожидаемые и остаточные частоты в таблицах сопряженности и др. Среди критериев значимости в таблицах сопряженности реализованы: критерии хи-квадрат Пирсона, максимума правдоподобия и с поправкой Йетса, хи-квадрат МакНемара, точный критерий Фишера (одно- и двухсторонний), Фи, тетрахорическая корреляция; доступны также следующие статистики: tau (a, b ) Кендалла, Гамма, r Спирмена, D Соммера, коэффициенты неопределенности и др. Графические средства включают простые, категоризованные (множественные) и трехмерные гистограммы, гистограммы кросс-сечений (для любых "срезов" одно-, двух- и многовходовых таблиц) и много других типов графиков, в том числе уникальный в своем роде "частотный график взаимодействий", суммирующий частоты для сложных таблиц сопряженности (подобно диаграмме средних в модели дисперсонного анализа ANOVA). В интерактивном режиме можно просматривать целые каскады графиков (в том числе сложных, например, множественно-категоризованные графики и графики взаимодействия).