Статистические пакеты для обработки и анализа данных

Министерство  образования  и науки РФ

Брянский Государственный  Технический Университет

 

 

 

 

Кафедра «Информатика и программное обеспечение»

 

Лабораторная  работа

по дисциплине:

«Информационные системы в управлении»

Статистические  пакеты для обработки и анализа данных.

 

Выполнили:

студентки гр 09-СЦ

Петрякова Екатерина

Сопова Дарья

Шевцова Юлия

 

 

 

 

 

 

2013 год

 

Статистические  пакеты

 

В современных условиях наблюдается постоянный рост интенсивности информационных потоков и объемов обрабатываемой информации. Это требует непрерывногообновления знаний о состоянии предметной области и перспектив использоания. В развитых странах практически любое решение: политическое, финансовое, техническое, научно-исследовательское и даже бытовое решение принимается только после всестороннего анализа данных.

 Особенность решения  таких задач заключается не  только в обработке большого  объема информации, но и в необходимости  выявления причинно-следственных  связей, построении формализованных  моделей для анализа и прогноза. К основным предпосылкам применения современных информационных технологий в области статистической обработки информации можно отнести следующие:

− большое количество объектов статистического наблюдения, многомерность данных;

− необходимость отслеживания динамики массива показателей во времени, формирование на их основе различных сводок;

− низкую оперативность  обработки данных;

− высокие материальные и трудовые затраты на сбор и обработку  статистической информации;

− территориальную разобщенность  исходных данных, необходимость их интеграции и одновременной обработки;

− сложность математических методов анализа

данных.

В настоящее время  для решения поставленных задач  активно используются статистические пакеты или статистические программные продукты (СПП), которые могут быть легко подключены к существующей информационной системе обработки информации.

 

 Поэтому изучение  прикладной статистики и методов  анализа данных является неотъемлемым  компонентом образования на всех  уровнях, а компьютерные пакеты  для аналитических исследований и прогнозирования являются настольным рабочим инструментом любого специалиста, так или иначе связанного с информационной сферой.   

Исключительно важное значение при выполнении психологического исследования имеет психометрическая обработка  результатов экспериментальных исследований. Современные компьютерные программы обработки данных предлагают богатый набор способов такого преобразования, замечательным образом расширяющий возможности анализа данных.

О ценности полученных эмпирических данных нельзя судить без серьезного математического анализа, без использования современных информационных компьютерных технологий, применение которых свидетельствует не только об умении исследователя применять статистические методы исследования, но и о достоверности полученных результатов и возможности их использования в практике.

Математические методы статистики становятся всё более  популярными в психологии. Объясняется  это просто: математическая статистика даёт специалистам-практикам мощный, хорошо разработанный аппарат для объективного анализа результатов педагогического, медицинского, психологического обследований и выработки практических рекомендаций.

Стандартные статистические методы включены в состав популярных электронных таблиц, таких как Excel, Lotus 1-2-3, Quattro Pro, а также в математические пакеты общего назначения, например Mathcad, Maple и др. Однако гораздо большими возможностями обладает специализированное программное обеспечение – статистические программные продукты (СПП).

Международный рынок  насчитывает более 1000 пакетов, решающих задачи статистического анализа данных в среде операционных систем Windows, DOS, OS/2.

Разнообразие статистических пакетов обусловлено многоплановостью задач обработки данных с применением  различных типов статистических процедур анализа для поиска ответов на вопросы из различных областей человеческой деятельности.

Перед пользователями различных  категорий встает вопрос выбора оптимального статистического пакета для поиска верных ответов на существующие вопросы. Очевидно, что оптимальным является вариант, сочетающий в себе необходимые функциональные возможности, высокое качество работы и умеренную цену. При выборе пакета учитываются следующие параметры:

• соответствие характеру решаемых задач;
• объем обрабатываемых данных;
• требования, предъявляемые к квалификации пользователя (уровень знаний в области статистики);
• имеющееся в наличии компьютерное оборудование.

 

Основные  требования к статистическим пакетам 

Для того, чтобы статистический пакет был удобен и эффективен в работе, необходимо, чтобы он удовлетворял следующим требованиям:

 

1. содержал достаточно  широкий набор стандартных статистических  методов;

2. был достаточно прост  для освоения и использования;

3. отвечал высоким  требованиям к вводу, преобразованиям  и организации хранения данных, обладал возможностью обмена данными с широко распространенными базами данных (Excel, dBase и т.п.);

4. имел большой набор  средств для графического представления  данных и результатов обработки,  так как визуальное представление  данных лучше воспринимается, чем любые статистические показатели;

5. предоставлял возможности  для создания отчетов, включения  в них таблиц исходных данных, графиков, результатов обработки  данных на различных стадиях;

6. имел подробную документацию, доступную для начинающих и информативную для специалистов.

 

Классификация статистических программных продуктов

СПП можно разделить  на:

Универсальные пакеты

Особое место на рынке  занимают так называемые статистические пакеты общего назначения. Широкий  диапазон статистических методов, в них отсутствует ориентация на конкретную предметную область, дружелюбный интерфейс пользователя привлекает в них не только начинающих пользователей, но и специалистов. Универсальность этих пакетов особенно полезна:

• на начальных этапах обработки, когда речь идет о подборе статистической модели или метода анализа данных;
• когда поведение статистических данных выходит за рамки использовавшейся ранее модели;
• в процессе обучения основам статистики.

Именно пакеты общего назначения составляют большинство  продаваемых на рынке статистических программ. К таким пакетам относятся системы BAS STADIA и SPSS, а также пакеты STATGRAPHICS, STATISTICA, S-plus, Systat Minilab и др.

 

Для того чтобы статистический пакет считался универсальным, он должен удовлетворять ряду требований:

• содержать достаточно широкий набор стандартных статистических методов;
• быть достаточно простым для быстрого освоения и использования непрофессиональным пользователем;
• работать с достаточно большими базами данных и отвечать высоким требованиям к вводу, преобразованию и организации хранения данных;
• осуществлять обмен данными с широко распространенными пакетами и базами данных;
• иметь обширный набор средств графического представления данных и результатов их анализа;
• иметь подробное документационное сопровождение и справочную систему, позволяющую начинающему пользователю с легкостью находить ответы на вопросы, связанные с работой программы и возможностями применения средств анализа данных.

Наконец, немаловажное значение имеет цена пакета.

Пакеты, рассчитанные на массового пользователя, стоят дешевле, чем западные – обычно 500-1500 долларов. Эти пакеты отличаются от профессиональных, прежде всего ориентацией на индивидуального пользователя: преимущественно диалоговым режимом работы, наличием ограничений по объему обрабатываемых данных и т.д.

Отечественные статистические пакеты стоят существенно дешевле, как правило, их цена составляет от 50 до 300 долларов.

 

Профессиональные  пакеты (например, SAS, BMDP).

Профессиональные пакеты отличаются от универсальных тем, что позволяют работать со сверхбольшими объемами данных, применять узкоспециализированные методы анализа, создавать собственную систему обработки данных. Как правило, подобные пакеты сложны в освоении для непрофессионалов. В то же время подготовленным пользователям работа с профессиональным пакетом предоставит больше возможностей для глубокого и детального анализа данных, построения сложных моделей и адаптации системы к собственным потребностям. Профессиональные пакеты более дорогостоящи, чем универсальные. Например, стоимость покупки SAS Analytics Pro на один год для индивидуального пользования составляет 5 360 EUR. Эти факторы делают современные профессиональные статистические пакеты слишком тяжеловесными для массового применения в различных областях деятельности.

 

Специализированные  пакеты

Как правило, реализуют  несколько статистических методов  или методы, применяемые в конкретной предметной области(контроль качества промышленной продукции, расчет страховых  сумм и т.д.).. Чаще всего это системы, ориентированные на анализ временных рядов(например, ЭВРИСТА, МИЗОЗАВР, ОЛИМП: Стат-Эксперт), корреляционно-регресионный, факторный или кластерный анализ. Обычно эти пакеты содержат весьма полный набор традиционных методов в своей области, а иногда включают также и оригинальные методы и алгоритмы, созданные разработчиками пакета. Как правило, пакет и его документация ориентированы на специалистов, хорошо знакомых с соответствующими методами.

(например, BioStat, MESOSAUR, DATASCOPE).Из  российских пакетов известны STADIA, Олимп, Класс-Мастер, КВАЗАР, Статистик-Консультант; американские пакеты – ODA, WinSTAT, Statit и т.д.

 

Современные СПП

Реализуют ряд системных  функций: ассистирование пользователю при выборе способа обработки, автоматическую организацию процесса обработки данных, обеспечение диалогового режима работы пользователя с пакетом, ведение пользовательских баз данных, автоматическое составление отчета о проделанной пользователем работе, совместимость с другими программами и др.

Методориентированные  СПП

Как правило, имеют следующую  структуру:

1.    Блок описательной  статистики и разведочного анализа  исходных данных: анализ резко  выделяющихся значение исследуемого  признака, восстановление пропущенных  значений, частотная обработка исходных  данных (построение гистограмм, полигонов частот, вычисление выборочных средних дисперсий и т.д.), проверка статистических гипотез об однородности исследуемых совокупностей, оценка критериев согласия, визуализация распределения статистических данных и др.;

2.    Блок статистического исследования динамики и зависимостей: дисперсионный и ковариационный анализ, корреляционно-регрессионый анализ, анализ временных рядов и др.;

3.    Блок классификации  и снижения размерности: дискриминантный  анализ, статистических анализ смесей распределений, кластерный анализ и др.;

4.    Блок методов  статистического анализа нечисловых  данных и экспертых оценок: анализ  таблиц сопряженности, логлинейные  модели, ранговые методы и др.;

5.    Блок планирования эксперимента  и выборочных исследований;

6.    Блок вспомогательных  программ.

Пакеты статистической обработки позволяют изучать  тенденции изменения числовых данных и оценивать уровень достоверности  результатов. Под статистической обработкой понимается использование методов  однофакторного и двухфакторного анализа, статистических показателей (вариация, среднее, медиана, мода и т.д.), частотного распределения, корреляционного и регрессионного анализа и т.д. 

В нашей стране наибольшее распространение получили следующие  статистические пакеты:

• SPSS
• STATISTICA
• Vortex
• ДА-система
• STADIA

Рассмотрим их подробнее.

 

Пакет STADIA

Всесторонний и наглядный  анализ данных для всех и каждого!  
S  T  A  D  I  A  - 8 . 0 новейшая версия 8.0 для любых Windows  
(сделано в России и для России : А. Кулаичев)

Зачем и кому все это нужно?

-принятие любого научного, финансового, управленческого, производственного  и даже бытового решения немыслимо  без всестороннего анализа информации;

-выделять закономерности  из случайностей, сравнивать вероятные  альтернативы выбора, строить прогнозы развития процессов, обнаруживать связи и различия множества объектов возможно только и исключительно прецизионными средствами математической статистики;