Інтелектуальні технології обробки економічних даних

Тема 4

Інтелектуальні технології обробки економічних даних

 

1. Особливості функціонування автоматичних засобів пошуку знань

2. Нейромережеві технології штучного інтелекту

3. Технологія виявлення  знань в базах даних (Knowledge Discovery in Databases)

4. Нові концепції у  теорії штучного інтелекту

 

1. Особливості функціонування автоматичних засобів пошуку знань

Для аналізу і розв'язання задач різного характеру, в тому числі й економічних, сучасні ІТ пропонують широкий спектр засобів прийняття рішень – людино-машинні інтерактивні системи, які дозволяють менеджерам, використовувати дані, знання, об'єктивні чи суб'єктивні моделі. Необхідно зазначити, що вибір засобу для обробки інформації обумовлюється властивостями поставленої задачі.

Структуровані задачі містять кількісні та якісні змінні, підлягають формалізації, яка нескладно реалізується. Надалі для них можна розробити повністю структуровані процедури знаходження рішень.

Слабоструктуровані задачі містять як кількісні, так якісні змінні, для них можна частково розробити структуровані процедури знаходження рішень.

Неструктуровані задачі містять лише якісні описи, їх неможливо формалізувати, вимагають нестандартних процедур прийняття рішень, де використовуються досвід, кваліфікація та інтуїція людини.

Існує два способи отримання знань: документальний і експертний. В першому випадку відомості містяться у різноманітних інформаційних джерелах (книги, документи, бази даних, інформаційні системи). Експертний спосіб припускає пошук і структуризацію знань з пам'яті людини – експерта (фахівця). Використовується для рішення неструктурованих задач.

Серед методів першої групи в економіці поширені методи математичної статистики, що вирішують спектр задач, проте не дозволяють знаходити і видобувати знання з масивів даних. Також, високі вимоги до кваліфікації кінцевих користувачів обмежують їх використання.

Серед другої групи поширені так звані експертні системи – спеціальні комп'ютерні програми, що моделюють процеси розмірковування та прийняття рішення людини. Наприклад, експертна система ухвалення рішень на ринку цінних паперів, експертна система оцінки кредитних ризиків тощо. Висока вартість створення і впровадження експертних систем, нездатність людей знаходити складну і нетривіальну залежність, часто відсутність фахівців, здатних грамотно структурувати свої знання також ускладнюють популяризацію такого підходу.

Специфіка сучасних вимог до обробки інформації робить безсилим як статистичні, так і експертні підходи в багатьох практичних сферах, у тому числі і економічних. Тому для аналізу сучасних баз даних методи повинні бути ефективними, простими у використанні.

Методи виявлення знань можна умовно розбити на чотири групи:

- класифікація. Класифікація використовується у випадку, коли класи об'єктів є наперед відомими. Наприклад, віднесення нового товару певної товарної групи (продовольчі, промислові), віднесення клієнта до визначеної категорії (постійний клієнт, новачок). При кредитуванні це може бути, наприклад, віднесення клієнта за певними ознаками до однієї з груп ризику.

- кластеризація – групування об'єктів на основі даних, що описують сутність об'єкту. Об'єкти всередині кластера повинні бути "подібними" один до одного і відрізнятися від об'єктів, що увійшли до інших кластерів. Ступінь подібності об'єктів характеризує точність кластеризації. Також для економічних задач використовують термін сегментація. Кластеризація може використовуватися для сегментації і побудови профілів клієнтів (покупців). При достатньо великій кількості клієнтів неможливо розробити для кожного індивідуальний підхід. Тому клієнтів зручно об'єднати в групи – сегменти з однорідними ознаками (групами ознак). Це можуть бути сегменти по сфері діяльності, по географічному розташуванню. Після сегментації можна отримати відомості, які саме сегменти є найактивнішими, які приносять найбільший прибуток, виділити характерні для них ознаки. Ефективність роботи з клієнтами підвищується за рахунок обліку їх персональних переваг.

- регресія – це встановлення залежності вихідних змінних від вхідних. Наприклад, в задачі прогнозування залежною величиною є обсяги продажів, а чинниками, що впливають на цю величину, можуть бути попередні обсяги продажів, зміна курсу валют, активність конкурентів і т.д. Або, наприклад, при кредитуванні фізичних осіб вірогідність повернення кредиту залежить від особистих характеристик людини, сфери його діяльності, наявності майна, платоспроможності.

- асоціація – виявлення закономірностей між пов'язаними подіями. Прикладом такої закономірності служить правило, яке вказує, що з події X випливає подія Y. Такі правила називаються асоціативними. Вперше ця задача була розв'язана для знаходження типових шаблонів покупок в супермаркетах, тому іноді її ще називають аналізом споживчого кошика (market basket analysis). Асоціації допомагають виявляти товари, які люди купують одночасно. Це може бути корисно для більш зручного розміщення товару на прилавках, стимулювання продажів (наприклад: розміщення гірчиці чи кетчупу біля сосисок, чаю біля печива гарантує збільшення сукупних обсягів продажу цих продуктів).

2. Нейромережеві технології  штучного інтелекту

Штучний інтелект (Artifical Intelligence, AI) (ШІ) є одним з напрямів інформатики, завданням якого є розробка апаратно-програмних засобів, які дозволяють користувачу формулювати і розв'язувати інтелектуальні задачі.

Засоби штучного інтелекту включають в себе:

• експертні системи;
• програмний інструментарій розробки експертних систем;
• машинний переклад;
• інтелектуальні роботи;
• нові архітектури комп'ютерів;
• ігри та машинна творчість.

Розробки в галузі ШІ розпочались з ідеї побудови системи, подібної до нервових клітин людини, що була запропонована Дж. Маккалоком та У.Піттом у 1943 р. та втілена у моделі штучного нейрона і принципах побудови штучних нейронних мереж, що здатні до навчання. Але задача практичного втілення розробленої методики виявилась складною і була розв'язана тільки через 20 років американським нейрофізіологом Ф.Розенблаттом в роботі 1962 р. "Принципи нейродинаміки".

Штучна нейронна мережа – паралельно розподілений процесор, який володіє здатністю до навчання, збереження і представлення знань, набутих на основі досвіду.

Нейронні мережі є обчислювальними структурами, що моделюють прості біологічні процеси, подібні до тих, що відбуваються в людському мозку.

Подібність ШНМ з мозком полягає в двох аспектах:

• знання набуваються мережею під час навчання;
• для збереження знань використовуються міжнейронні з'єднання.

Нейронні мережі недоцільно застосовувати у таких випадках:

• для задач, що мають точний аналітичний алгоритм розв'язання;
• у випадку потреби високої точності результатів;
• для задач, розв'язання яких вимагає багато етапів логічних висновків і тверджень;
• для задач, в яких використовується символьне представлення;
• для задач, які можуть бути розв'язані засобами з меншою собівартістю застосування.

Проте, нейронні мережі ефективно можуть використовуватись для розв'язання наступних задач:

• прогнозування на основі аналізу часових рядів;
• ідентифікації об'єктів і класифікації;
• оптимізації.

 

3. Технологія виявлення  знань в базах даних (Knowledge Discovery in Databases)

СППР, які містять базу знань і розробляються з використанням методів ШІ, називаються системами підтримки прийняття рішень на базі знань (Knowledge-based Decision Support Systems). Знання в цьому сенсі є інформацією, яка зберігається в пам'яті систем штучного інтелекту, містить в собі відомості про об'єкти і зв'язки предметної області, процеси взаємодії об'єктів в часі і просторі, яка містить правила, на основі яких виконується логічне доведення.

Виявлення знань в базах даних (Knowledge Discovery in Databases, KDD) – це послідовність дій, яку необхідно виконати для побудови моделі (видобування знань). Ця послідовність не описує певний алгоритм або математичний апарат, не залежить від наочної області. Це – набір операцій, комбінуючи які, можна отримати потрібне рішення.

KDD включає етапи підготовки  даних, вибору інформативних ознак, очищення даних, застосування методів  видобування знань, кінцевої обробки  даних, інтерпретації отриманих  результатів. Основою цього процесу  є методи, що дозволяють знаходити  закономірності і знання.

Стисло розглянемо кроки, що виконуються на кожному етапі KDD (рис. 1).

1. Підготовка початкового набору даних, у тому числі з різних джерел, вибору значущих параметрів тощо. Для цього повинні існувати розвинуті інструменти доступу до різних джерел даних.

2. Попередня обробка даних. Дані можуть бути неповними, містити шуми, аномальні значення і т.д. Крім того, вони можуть бути в надмірний чи недостатній кількості.

3. Деякі задачі потребують доповнення даних певною апріорною інформацією (апріорі від лат. a priori – первісно – те, що передує досвіду, є філософським терміном. Протилежний термін, апостеріорі, позначає те, що випливає з досвіду). Якщо подати дані на вхід системи в існуючому (початковому) вигляді, то на виході не будуть отримані корисні знання. Вхідні дані повинні бути якісними та коректними.

Рис. 1. Етапи КDD

4. Трансформація, нормалізація даних. Цей крок необхідний для тих методів, які вимагають представлення початкових даних в певному вигляді.

5. Видобування знань. На цьому кроці застосовуються різні алгоритми для видобування знань. Це нейронні мережі, дерева рішень, алгоритми кластеризації, виявлення асоціацій тощо.

6. Кінцева обробка даних – інтерпретація результатів і застосування отриманих знань в бізнес-додатках. Наприклад, необхідно отримати прогноз обсягів продажів на наступний місяць. Є мережа магазинів роздрібної торгівлі. Першим кроком буде збір хронології продажів в кожному магазині і об'єднання її в загальну вибірку даних. Наступний крок - попередня обробка зібраних даних: їх групування по місяцях, згладжування кривої продажів, усунення чинників, що мало впливають на обсяги продажів.

Головна перевага КDD в тому, що отримані у такий спосіб знання можна розповсюджувати. Побудовану однією людиною модель можуть використовувати інші, без необхідності розуміння методик, за допомогою якої ці моделі побудовані.

 

4. Нові концепції у  теорії штучного інтелекту

На сьогоднішній день ШІ залишається одним із найбільш перспективних і нерозкритих напрямків розвитку ІСТ. До складу понять ШІ сьогодні відносять нейронні мережі, нечітку логіку, експертні системи, ЕОМ п'ятого покоління (квантовий комп’ютер, хімічний комп’ютер, ДНК-комп’ютер, оптичний комп’ютер, спінтронний комп’ютер), системи моделювання мислення.

Провідним лідером у розробці інтелектуального програмного забезпечення, що ґрунтується на засадах штучного інтелекту, є компанія Numenta, серед останніх розробок якої є програмне забезпечення, що здійснює моделювання суджень і працює за принципами людського мозку.

Програмне забезпечення Numenta працює за принципами самонавчальної штучної нейронної мережі. Топологія мережі відображує ієрархічну природу існуючої реальності подібно до того, як це здійснює наша свідомість, постійно деталізуючи оточуючу дійсність на сукупність складових.

У теоретичних напрямах розвитку систем штучного інтелекту розрізняють дві провідні гілки, які відповідають висхідним та низхідним методам моделювання.

Згідно висхідного методу моделювання теоретичні положення ґрунтуються на основі дослідних даних нейрофізіології.

У відповідності з низхідним методом моделювання теоретичні положення ґрунтуються на відтворенні зовнішніх проявів інтелектуальної поведінки індивідуума. Цей метод моделювання, який також називається функціоналістським, є орієнтованим на широке практичне застосування, тому отримав значну фінансову і академічну підтримку та здобув значне поширення.

За міркуваннями функціоналістів (на чолі з М.Мінскі) спроби використання теорії штучних нейронних мереж до моделювання мозку є недоцільними, оскільки вважається, що мозок перевантажений еволюційним навантаженням підсвідомих нераціональних конструкторських рішень. Як показує практика досліджень, системи, розроблені без урахування еволюційної передісторії, часом можуть перевершувати свої біологічні аналоги. Прикладами можуть служити твердження, що автомобіль обганяє найшвидшу тварину світу - гепарда, а літак - обганяє найшвидшого птаха - стрижа. Крім цього, функціоналісти виправдовують своє прохолодне ставлення до нейрофізіологічних концепцій, виходячи з того, що вона знаходиться лише на початкових етапах розуміння будови мозку.