Технология Data Mining

4.2. Web Mining

 

Web Mining можно перевести как "добыча данных в Web". Web Intelligence или Web Интеллект готов "открыть новую главу" в стремительном развитии электронного бизнеса.

Способность определять интересы и предпочтения каждого посетителя, наблюдая за его поведением, является серьезным и критичным преимуществом  конкурентной борьбы на рынке электронной  коммерции.

Системы Web Mining могут ответить на многие вопросы, например, кто из посетителей является потенциальным клиентом Web-магазина, какая группа клиентов Web-магазина приносит наибольший доход, каковы интересы определенного посетителя или группы посетителей.

Технология Web Mining охватывает методы, которые способны на основе данных сайта обнаружить новые, ранее неизвестные знания и которые в дальнейшем можно будет использовать на практике. Другими словами, технология Web Mining применяет технологию Data Mining для анализа неструктурированной, неоднородной, распределенной и значительной по объему информации, содержащейся на Web-узлах.

Согласно таксономии³ Web Mining, здесь можно выделить два основных направления:

Web Content Mining и Web Usage Mining.

Web Content Mining подразумевает автоматический поиск и извлечение качественной информации из разнообразных источников Интернета, перегруженных "информационным шумом". Здесь также идет речь о различных средствах кластеризации и аннотировании документов.

В этом направлении, в свою очередь, выделяют два подхода: подход, основанный на агентах, и подход, основанный на базах данных.

Подход, основанный на агентах (Agent Based Approach), включает такие системы: интеллектуальные поисковые агенты (Intelligent Search Agents);

- фильтрация информации / классификация;

- персонифицированные агенты сети.

Примеры систем интеллектуальных агентов поиска: Harvest (Brown и др., 1994), FAQ-Finder (Hammond и др., 1995), Information Manifold (Kirk и др., 1995).

Подход, основанный на базах  данных (Database Approach), включает системы:

- многоуровневые базы данных;

- системы web-запросов (Web Query Systems);

Примеры систем web-запросов: W3QL (Konopnicki и Shmueli, 1995), WebLog (Lakshmanan и др., 1996), Lorel (Quass и др., 1995).

Второе направление Web Usage Mining подразумевает обнаружение закономерностей в действиях пользователя Web-узла или их группы.

Анализируется следующая  информация: какие страницы просматривал пользователь; какова последовательность просмотра страниц.

Анализируется также, какие  группы пользователей можно выделить среди общего их числа на основе истории просмотра Web-узла.

Web Usage Mining включает следующие составляющие:

- предварительная обработка;

- операционная идентификация;

- инструменты обнаружения шаблонов;

- инструменты анализа шаблонов.

Задачи Web Mining  можно подразделить на такие категории:

- предварительная обработка данных для Web Mining;

- обнаружение шаблонов и открытие знаний с использованием ассоциативных правил, временных последовательностей, классификации и кластеризации;

- анализ полученного знания.

 

5. АНАЛИЗ SAS Enterprise Miner

 

Пакет SAS Enterprise Miner позволяет оптимизировать процесс интеллектуального анализа данных в целом, начиная от организации доступа к данным и заканчивая оценкой готовой модели, и поддерживает выполнение всех необходимых процедур в рамках единого интегрированного решения с гибкими возможностями коллективной работы.

Рисунок 1. Сегментация данных с помощью кластеризации и самоорганизующихся карт

Пакет SAS Enterprise Miner предназначен для специалистов по анализу данных, маркетинговых аналитиков, маркетологов, специалистов по анализу рисков, специалистов по выявлению мошеннических действий, а также инженеров и ученых, ответственных за принятие ключевых решений в бизнесе или исследовательской деятельности.

 

Таблица 1. Основные преимущества SAS Enterprise Miner

Преимущества	Возможности
Широкий набор инструментальных средств, поддерживающих процессы интеллектуального  анализа данных.	SAS предлагает гибкое интегрированное  решение, обеспечивающее поддержку  всех шагов, необходимых для  решения той или иной проблемы  бизнеса. Процесс пере хода от необработанных исходных данных к точным аналитическим моделям, отвечающим на потребности бизнеса, становится гладким и эффективным. Пакет предоставляет интегрированную среду для коллективной работы, обеспечивающую эффективное сотрудничество подразделений статистического моделирования, менеджеров и ИТ специалистов.
Понятный графический  интерфейс пользователя (GUI) помогает бизнес-аналитикам и специалистам по статистике создавать в более сжатые сроки большее количество моделей.	Среда для формирования диаграмм процессов обработки дан ных пакета SAS Enterprise Miner устраняет необходимость ручного кодирования и значительно сокращает время разработки моделей бизнес-аналитиками и специалистами по статистике. Кроме того, диаграммы выступают в качестве самоописательных шаблонов, которые можно легко изменять или применять для решения новых проблем, не повторяя анализ с самого начала. Существует возможность обмена диаграммами между аналитиками в масштабах предприятия.
Упрощение выявления надежной бизнес информации.	Пакет SAS Enterprise Miner оснащен рядом встроенных функций контроля, работающих в рамках единой оболочки и обеспечивающих сравнение результатов различных методов моделирования  как с точки зрения статистики, так и с точки зрения бизнеса. Полученные модели можно публиковать для совместного использования в рамках пред приятия при помощи уникального репозитария моделей, представляющего собой первую на рынке систему управления моделями.
Развертывание моделей в  масштабах предприятия с непревзойденной  простотой.	Скоринг  это применение модели к новым данным и конечный результат деятельности по интеллектуальному анализу данных. Пакет SAS Enterprise Miner автоматизирует утомительный процесс подбора коэффициентов и предоставляет готовый программный код для скоринга на всех стадий создания модели. Этот программный код может использоваться в различных средах (в пакет ном режиме или в реальном времени)  в системе SAS, в Web или не посредственно в реляционных базах данных. Это позволяет быстрее перейти к практическому использованию результатов анализа данных.

 

Пакет SAS Enterprise Miner поставляется в виде современной распределенной клиент-серверной системы для углубленного интеллектуального анализа данных в крупных организациях. Пакет позволяет оптимизировать процессы анализа данных, поддерживая все необходимые шаги в рамках едино го решения, а также обеспечивает гиб кое сотрудничество больших рабочих групп в рамках единого проекта. Система обеспечивает расширенную интеграцию с системами управления данными и развертывания моделей, а гибкие возможности выбора конфигурации па кета в зависимости от требований бизнеса устраняют необходимость приобретения специализированных решений.

Более полная информация о  возможностях  SAS Enterprise Miner приведена в Приложении 1.

ЗАКЛЮЧЕНИЕ

 

 

Традиционная математическая статистика, долгое время претендовавшая на роль основного инструмента анализа  данных, откровенно не справляется  с возникшими проблемами. Главная  причина – концепция усреднения по выборке, приводящая к операциям  над фиктивными величинами (типа средней  температуры пациентов в больнице, средней высоты дома на улице и  т.п.).

В основу Data Mining (discovery-driven data mining) положена концепция шаблонов (паттернов), отражающих фрагменты многоаспектных взаимоотношений в данных. Эти шаблоны представляют собой закономерности, свойственные подвыборкам данных, которые могут быть компактно выражены в понятной человеку форме. Поиск шаблонов производится методами, не ограниченными рамками априорных предположений о структуре выборки и виде распределений значений анализируемых показателей.

Важное положение Data Mining – нетривиальность разыскиваемых шаблонов. Это означает, что найденные шаблоны должны отражать неочевидные, неожиданные регулярности в данных, составляющих так называемые скрытые знания. К обществу пришло понимание того, что сырые данные содержат глубинные пласт знаний, при грамотной раскопке которого могут быть обнаружены настоящие самородки.

Существует множество  определений Data Mining, но в целом они совпадают в выделении 4-х основных признаков:

Data Mining - это процесс обнаружения в сырых данных

• ранее неизвестных,
• нетривиальных,
• практически полезных,
• доступных интерпретации знаний (закономерностей), необходимых для принятия решений в различных сферах человеческой деятельности.

Рисунок 2. Технология Data Mining

Нахождение скрытых закономерностей  в данных, взаимосвязей между различными переменными в базах данных, моделирование  и изучение сложных систем на основе истории их поведения - вот предмет  и задачи Data Mining.

Результаты Data Mining - эмпирические модели, классификационные правила, выделенные кластеры и т.д. - можно затем инкорпорировать в существующие системы поддержки принятия решений и использовать их для прогноза будущих ситуаций.

В заключении хочется отметить тот факт, что средства Data Mining относятся к дорогостоящим программным инструментам — цена некоторых из них доходит до нескольких десятков тысяч долларов. Поэтому до недавнего времени основными потребителями этой технологии были банки, финансовые и страховые компании, крупные торговые предприятия, а основными задачами, требующими применения Data Mining, считались оценка кредитных и страховых рисков и выработка маркетинговой политики, тарифных планов и иных принципов работы с клиентами. В последние годы ситуация претерпела определенные изменения: на рынке программного обеспечения появились относительно недорогие инструменты Data Mining от нескольких производителей, что сделало доступной эту технологию для предприятий малого и среднего бизнеса, ранее о ней и не помышлявших.

 

СПИСОК ЛИТЕРАТУРЫ

 

 

1. Барсегян А.А., Куприянов М.С. и др. Технологии анализа данных. Data Mining, Visual Mining, Text Mining, OLAP. Изд.: БХВ-Петербург, 2007, стр. 384.

2. Методические указания к лабораторным работам по дисциплине "Теоретические основы автоматизированного управления". ЮГУ; специальность 230102.65; 4 курс; 21 стр.

3. Паклин Н. Б., Орешков В. И. Бизнес-аналитика: от данных к знаниям. - СПб.: Питер, 2009. - 624 с

4. Пятецкий-Шапиро Г. «Великие раскопки и великие вызовы» в журнале «Компьютерра»№ 11(679) 2007.

5. Чубукова И.А. Data Mining. Курс лекций интернет-университета INTUIT, 2006 г., 328 стр.

6. http://www.sas.com/technologies/analytics/datamining/miner/

 

 

 

 

 

 

 

³ Таксоно́мия (от др.-греч. τάξις — строй, порядок и νόμος — закон) — учение о принципах и практике классификации и систематизации. Джеффри Ч. Биологическая номенклатура = Charles Jeffrey. Biological Nomenclature. Second edition / Пер. с англ. — М.: Мир, 1980. — С. 14. — 120 с.