Использование средств OLAP-технологий для построения системы бизнес интеллекта факультета

Министерство  образования Республики Беларусь

Учреждение образования  
«Гродненский государственный университет им. Янки Купалы»

Факультет математики и  информатики

Кафедра информатики  и вычислительной техники

 

 

 

 

 

КАШТЕЛЯН ДЕНИС ПЕТРОВИЧ

 

 

 

 

Использование средств OLAP-технологий для построения системы Бизнес Интеллекта факультета

 

 

 

 

Дипломная работа

студента 5 курса

 

 

 

 

 

 

“Допустить к защите “   Зав. кафедрой ИВТ   __ ___________ 2008 г.

Научный руководитель   Кадан Александр Михайлович  заведующий кафедрой информатики и вычислительной техники,  доцент, кандидат технических наук

 

 

 

 

 

 

Гродно 2008

РЕФЕРАТ

 

Дипломная работа, 94 с., 77 рис., 01 табл., 20 источников, 06 прил.

 

БИЗНЕС ИНТЕЛЛЕКТ, БАЗА ДАННЫХ, ХРАНИЛИЩЕ ДАННЫХ, МНОГОМЕРНАЯ БАЗА ДАННЫХ, OLAP,  ИЗМЕРЕНИЕ, OLAP-КУБ, МЕРА, ОТЧЕТ, MS SQL SERVER, REPORTING SERVICES, CRYSTAL REPORTS.

 

Целью дипломной работы являлось создание системы поддержки принятия решений при управлении факультетом при работе с контингентом сотрудников Гродненского государственного университета им. Янки Купалы.

 

Объект разработки –  система на основе технологий бизнес интеллекта, анализа многомерных баз данных на платформе Microsoft SQL Server 2005 .NET Framework.

 

Система реализована  как совокупность модулей: очистки и загрузки данных в хранилище, формирования многомерного хранилища данных, обновления информации в хранилище данных по расписанию, формирования и доступа к выходным документам, предназначенных для поддержки принятия решений руководителями структурных подразделений вуза при работе с персоналом и студентами.

 

ОГЛАВЛЕНИЕ

 

ПЕРЕЧЕНЬ УСЛОВНЫХ ОБОЗНАЧЕНИЙ И  ТЕРМИНОВ

 

BI (Business Intelligence) – процесс, включающий в себя доступ и исследование информации, ее анализ, которые ведут к улучшенному и неформальному принятию решений

OLAP (Online Analytical Processing) – инструменты оперативной аналитической обработки информации

АСУ – автоматизированная система управления

БД – база данных

СУБД – система управления базами данных

Data Warehouse – хранилище данных

Fact table – таблица фактов

Dimension table – таблица измерения

FASMI (Fast Analysis of Shared Multidimensional Information) – быстрый анализ разделяемой многомерной информации

Data Warehousing Framework – инфраструктура построения хранилищ данных Microsoft

DTS (Data Transformation Services) – службы преобразования данных

DSS (Decision Support Services) – сервисы поддержки принятия решений

OLAP-куб – многомерный куб данных

 

 

ВВЕДЕНИЕ

Ключевую роль в управлении компанией  в целом и ее отдельными подразделениями играет информация. Однако, данные, которые доступны менеджерам и аналитикам непосредственно из корпоративных информационных систем, не унифицированы, разрозненны и в общем случае не подготовлены для анализа. Системы Business Intelligence - это как раз тот класс информационных систем, который позволяет превратить сырые данные в полезную для бизнеса информацию и знания, используемые в управлении, на основе которых можно принимать решения.

Идея преобразования сырых данных в информацию востребована повсеместно, поэтому системы Business Intelligence абсолютно универсальны и применяются в различных отраслях для решения широкого круга задач.

Технологиями Бизнес Интеллекта пользуются заказчики таких отраслей, как: банковская деятельность, розничная торговля, страхование, телекоммуникации и др.

Среди задач, для решения которых используются системы Business Intelligence:

• анализ продаж;
• управление складскими запасами;
• оперативное управление поставками продукции;
• анализ эффективности маркетинговых акций;
• мониторинг вывода продукта на рынок;
• ежедневный контроль денежных потоков;
• анализ истории платежной дисциплины кредиторов;
• разработка новых продуктов;
• расчет сложных показателей;
• и др.

 

Бизнес-интеллект включает [3]:

• процесс превращения данных в информацию и знания для поддержки принятия улучшенных и неформальных решений;
• информационные технологии (методы и средства) сбора данных, консолидации информации и обеспечения доступа пользователей к знаниям;
• аналитическую и управленческую отчетность. Наиболее распространенные, универсальные и вместе с тем эффективные системы для получения информации на различных уровнях управления компанией. В отличие от стандартных систем отчетности включают в себя богатые возможности для построения запросов, создания отчетов, визуализации данных и простой обработки полученных результатов непосредственно менеджерами и аналитиками, не являющимися специалистами в области ИТ.
• оперативный анализ информации (OLAP). OLAP-системы предназначены для менеджеров и аналитиков, которым требуется постоянное интерактивное взаимодействие с информацией.
• системы нетривиального анализа данных и получения знаний. В основе лежат технологии Data Mining, которые могут использоваться для решения сложно формализуемых задач, в том числе:
• прогнозирование
• возможность выявления мошенничества
• сегментацию клиентов
• оценку риска и принятие решений в кредитовании
• Анализ покупательской корзины

С использованием методов Бизнес Интеллекта можно разработать программные  приложения, которые станут мощным инструментом для разработки альтернативных вариантов действий, анализа последствий их применения и совершенствования навыков руководителя в столь важной области его деятельности как принятие решений [15].

На кафедре информатики и  вычислительной техники ГрГУ уже  несколько лет ведутся работы по формированию информационной картины факультета – сбору первичных данных о работе факультета, их структуризации и публикации для обеспечения доступа к их содержанию и результатам их анализа.

Существует множество видов  анализируемой информации, важнейшими из которых являются: данные об итогах экзаменационных сессий студентов, данные о текущей успеваемости студентов в процессе их учебы на факультете, данные о посещаемости студентов, статистические данные о студентах и преподавателях факультета и университета, данные о нагрузке преподавателей факультета и университета в целом и т.д.

Все это определяет необходимость  и важность разработки автоматизированной системы на основе современных технологий для поддержки процессов сбора, очистки, структуризации, хранения, оперативного анализа и публикации данных о работе факультета.

Учитывая набор перечисленных  выше требований, было принято решение  о разработке системы на принципах технологий семейства «Business Intelligence» - средств анализа и обработки данных масштаба предприятия, которые позволяют эффективно решать широкий круг задач обработки информации и управления.

Указанные возможности реализуются  за счет использования методов и  средств построения хранилищ данных, OLAP-технологий, которые реализованы в ряде программных систем ведущих корпораций.

 

ЦЕЛИ И ЗАДАЧИ РАБОТЫ

 

Основной целью данной дипломной работы является создание системы поддержки принятия решений при управлении факультетом на основе разнородных знаний о различных аспектах работы факультета, методов их получения, анализа и представления конечному пользователю. Систем подобного рода университеты Беларуси не имеют.

Основная гипотеза разработки и  использования системы – интеграция разнородных данных и новые формы  их организации и представления  – позволят не только получить новые  знания о предметной области, но и позволят пользователю самостоятельно производить поиск и анализ необходимой ему информации.

Реализация системы Бизнес Интеллекта предполагает решение следующих  задач:

• организацию процессов сбора информации об аспектах работы факультета вуза;
• структурирование данных и разработка средств их первичного накопления;
• организацию очистки и загрузки первичных данных в общую базу системы;
• формирование хранилища данных, организация его пополнения информацией;
• формирование многомерных таблиц и исследование их средствами OLAP;
• создание системы доступа конечных пользователей к информации системы с использованием методов на основе Internet/Intranet-технологий;
• реализация модуля формирования и доступа к конечным документам посредством возможностей служб Crystal Reports, Reporting Services, а также с помощью набора средств Microsoft Office Web Components;
• обучение потенциальных пользователей системы Бизнес Интеллекта факультета – работников деканата, заведующих кафедрами, преподавателей и сотрудников.

 

ГЛАВА 1. ОСНОВНЫЕ ПОЛОЖЕНИЯ ТЕХНОЛОГИЙ БИЗНЕС ИНТЕЛЛЕКТА

1.1. Системы бизнес  интеллекта

В 2004 г. Business Intelligence и Хранилища данных впервые оказались в списке основных приоритетов директоров по информационным технологиям, который составляет компания Gartner. Анализ основных бизнес-проблем 2005 г. показывает, что все они требуют большего доступа к данным: данным определенного качества и точности, данным на корпоративном уровне в сравнении с данными отрасли, а также более мощной аналитики, нацеленной на управление бизнесом на основе фактов. Business Intelligence уже не является синонимом отчетности, это теперь в полном смысле слова аналитика. Такая тенденция способствует использованию данных и аналитики для снижения некоторой неопределенности, свойственной управлению любой крупной корпорацией [3].

1.1.1. Концепция хранилищ  данных

Типичное хранилище данных, как  правило, отличается от обычной реляционной  базы данных. Во-первых, обычные базы данных предназначены для того, чтобы  помочь пользователям выполнять повседневную работу, тогда как хранилища данных предназначены для принятия решений.

Во-вторых, структура и данные обычных  баз данных подвержены постоянным изменениям в процессе работы пользователей, а в хранилище данные обычно обновляются согласно расписанию (например, еженедельно). В идеале процесс пополнения представляет собой просто добавление новых данных за определенный период времени без изменения прежней информации, уже находящейся в хранилище.

И, в-третьих, обычные базы данных чаще всего являются источником данных, попадающих в хранилище.

Ральфом Кимбаллом (Ralph Kimball), одним  из авторов концепции хранилищ данных, были сформулированы основные требования к хранилищам данных:

• поддержка высокой скорости получения данных из хранилища;
• поддержка внутренней непротиворечивости данных;
• возможность получения и сравнения так называемых срезов данных;
• наличие удобных утилит просмотра данных в хранилище;
• полнота и достоверность хранимых данных;
• поддержка качественного процесса пополнения данных.

Очень часто разрабатываемому BI-продукту не удается удовлетворять всем перечисленным требованиям. Поэтому для реализации хранилищ данных обычно используется несколько продуктов, одни их которых представляют собой собственно средства хранения данных, другие – средства их извлечения и просмотра, третьи – средства их пополнения и т.д. [6]

1.1.2. Хранение данных  в системах Бизнес Интеллекта

Типичная структура хранилища  данных существенно отличается от структуры  обычной реляционной базы данных. Как правило, эта структура денормализована (это позволяет повысить скорость выполнения запросов), поэтому может допускать избыточность данных. Основными составляющими структуры хранилищ данных являются таблица фактов (fact table) и таблицы измерений (dimension tables).

Таблица фактов

Таблица фактов является основной таблицей хранилища данных. Как правило, она  содержит сведения об объектах или  событиях, совокупность которых будет  в дальнейшем анализироваться. В  ней имеется уникальный составной ключ, объединяющий первичные ключи таблиц измерений. При этом как ключевые, так и некоторые не  ключевые поля должны соответствовать будущим измерениям OLAP-куба. Помимо этого таблица фактов содержит одно или несколько числовых полей, на основании которых в дальнейшем будут получены агрегатные данные. Для многомерного анализа пригодны таблицы фактов, содержащие как можно более подробные данные.

Таблицы измерений

Таблицы измерений содержат неизменяемые либо редко изменяемые данные. В  подавляющем большинстве случаев эти данные представляют собой по одной записи для каждого члена нижнего уровня иерархии в измерении. Таблицы измерений также содержат как минимум одно описательное поле (обычно с именем члена измерения) и, как правило, целочисленное ключевое поле (обычно это суррогатный ключ) для однозначной идентификации члена измерения. Если будущее измерение, основанное на данной таблице измерений, содержит иерархию, то таблица измерений также может содержать поля, указывающие на «родителя» данного члена в этой иерархии.

Каждая таблица измерений должна находиться в отношении «один ко многим» с таблицей фактов.

Одно измерение куба может содержаться  как в одной таблице (в том  числе и при наличии нескольких уровней иерархии), так и в нескольких связанных таблицах, соответствующих различным уровням иерархии в измерении. Если каждое измерение содержится в одной таблице, такая схема хранилища данных носит название «звезда» (star schema).

Если же хотя бы одно измерение  содержится в нескольких связанных  таблицах, такая схема хранилища данных носит название «снежинка» (snowflake schema). Дополнительные таблицы измерений в такой схеме, обычно соответствующие верхним уровням иерархии измерения и находящиеся в соотношении «один ко многим» в главной таблице измерений, соответствующей нижнему уровню иерархии, иногда называют консольными таблицами (outrigger table).