Машинное представление знаний и данных. Методы хранения, поиска и обработки данных, методы естественно-языкового человеко-машинного общен

1. Машинное представление знаний и данных. Методы хранения, поиска и обработки данных, методы естественно-языкового человеко-машинного общения

 Введение

Все расширяющееся  применение электронных вычислительных машин и повышение их роли в жизни общества сделало актуальной проблему соотношения возможностей человеческого мышления и так называемого машинного, или искусственного, интеллекта.

Основной целью  информатики в области искусственного интеллекта является  подбор представления конкретных и обобщенных знаний, сведений и фактов для накопления и осмысленной обработки информации в ЭВМ.

  Для достижения этой цели необходимо выполнить задачу  по поиску и  обработке данных таким образом, чтобы программы могли обрабатывать их и достигнуть подобия человеческого интеллекта.

Машинное представление знаний и данных

Постановка  и решение любой задачи связаны  с определенной предметной областью. Языки, предназначенные для описания предметных областей, называются языками представления знаний. Универсальным языком представления знаний является естественный язык. Однако использование естественного языка в системах машинного представления знаний наталкивается на ряд препятствий, главным из которых является отсутствие формальной семантики естественного языка. Кроме того, необходимо определить, что такое «знания» и «данные».

Данными называют информацию фактического характера, описывающую объекты, процессы и явления предметной области, а также их свойства. В процессах компьютерной обработки данные проходят следующие этапы преобразований:

• исходная форма существования данных (результаты наблюдений и измерений, таблицы, справочники, диаграммы, графики и т.д.);
• представление на специальных языках описания данных, предназначенных для ввода и обработки исходных данных в ЭВМ;
• базы данных на машинных носителях информации.

Для того чтобы  поместить знания в информационную систему, их необходимо представить  определенными структурами данных, соответствующих выбранной среде  разработки интеллектуальной системы. Поэтому при разработке информационной системы сначала осуществляются накопление и представление знаний, причем на этом этапе обязательно участие человека, а затем знания представляются определенными структурами данных, удобными для хранения и обработки в ЭВМ. Знания в ИС существуют в следующих формах:

• исходные знания (правила, выведенные на основе практического опыта, математические и эмпирические зависимости, отражающие взаимные связи между фактами; закономерности и тенденции, описывающие изменение фактов с течением времени; функции, диаграммы, графы и т. д.);
• описание исходных знаний средствами выбранной модели представления знаний (множество логических формул или продукционных правил, семантическая сеть, иерархии фреймов и т. п.);
• представление знаний структурами данных, которые предназначены для хранения и обработки в ЭВМ;
• базы знаний на машинных носителях информации.

Общение с компьютерной системой на уровне знания предопределяет возможность ввода и использования ею некоторой совокупности взаимосвязанной информации. Сложность понятия «знание» заключена в множественности его носителя и неразрывности с понятием «данные». Выделяют несколько уровней формализации знания о предметной области: знания в памяти человека; знания в форме языковой модели предметной области, используемые человеком и зафиксированные на физических носителях с использованием контекстно-зависимых языков, графических образов и т.п.; знания, формализованные при использовании в ЭВМ; фактографические сведения или данные.

Исследователи в области искусственного интеллекта различными способами классифицируют знания:

• фактические и стратегические знания. Фактические знания — основные закономерности предметной области, позволяющие решать конкретные производственные, научные и другие задачи, то есть факты, понятия, взаимосвязи, оценки, правила, эвристики. Стратегические знания — стратегии принятия решений в предметной области;
• факты и эвристики. Факты указывают на хорошо известные в той или иной предметной области обстоятельств. Такие знания еще называют текстовыми, имея в виду достаточную их освещенность в специальной литературе и учебниках. Эвристики основываются на индивидуальном опыте специалиста (эксперта) в предметной области, накопленном в результате многолетней практики. Эта категория знаний нередко играет решающую роль при построении интеллектуальных программ. К эвристикам относятся такие знания, как «способы удаления бесполезных гипотез», способы использования нечеткой информации», «способы разрешения противоречий» и т.п.;
• факты и правила. Факты — это знания типа «А — это А», такие знания характерны для баз данных и сетевых моделей. Правила, или продукции, — это знания типа «ЕСЛИ А, ТО В».
• декларативные и процедурные знания. Под декларативными знаниями подразумеваются описания фактов, явлений (типа «A это B») и они характерны для баз данных. К процедурным знаниям относятся сведения о способах оперирования или преобразования декларативных знаний;
• интенсиональные и экстенсиональные знания. Интенсиональные знания — это знания о связях между атрибутами (признаками) объектов данной предметной области. Они оперируют абстрактными событиями и отношениями. Экстенсиональные знания представляют собой данные, характеризующие конкретные объекты, их состояния, значения параметров в пространстве и времени. В этой классификации оперируют интенсионалом и экстенсионалом понятий. Интенсионал понятия — это определение его через соотнесение с понятием более высокого уровня абстракции указанием специфических свойств. Интенсионалы формулируют знания об объектах. Другой способ определяет понятие через соотнесение с понятиями более низкого уровня абстракции или перечисление фактов, относящихся к определяемому объекту — это определение через данные, или экстенсионал понятия;
• глубинные и поверхностные знания. В глубинных знаниях отражается понимание структуры предметной области, назначение и взаимосвязь отдельных понятий (глубинные знания в фундаментальных науках — это законы и теоретические основания). Поверхностные знания обычно касаются внешних эмпирических ассоциаций с каким-либо феноменом предметной области;
• жесткие и мягкие знания. Жесткие знания позволяют получать однозначные рекомендации при заданных начальных условиях. Мягкие знания допускают множественные, «размытые» решения и различные варианты рекомендаций.

Форма представления  знаний оказывает существенное влияние  на характеристики ИС. Базы знаний являются моделями человеческих знаний. Однако все знания, которые привлекает человек  в процессе решения сложных задач, смоделировать невозможно. Поэтому в интеллектуальных системах требуется четко разделить знания на те, которые предназначены для обработки компьютером, и знания, используемые человеком. Очевидно, что для решения сложных задач база знаний должна иметь достаточно большой объем, в связи с чем неизбежно возникают проблемы управления такой базой. Поэтому при выборе модели представления знаний следует учитывать такие факторы, как однородность представления и простота понимания. Однородность представления приводит к упрощению механизма управления знаниями. Простота понимания важна для пользователей интеллектуальных систем и экспертов, чьи знания закладываются в ИС. Если форма представления знаний будет трудна для понимания, то усложняются процессы приобретения и интерпретации знаний. Следует заметить, что одновременно выполнить эти требования довольно сложно, особенно в больших системах, где неизбежным становится структурирование и модульное представление знаний.

Выделают три  парадигмы представления знаний: логическая, структурная, процедурная.

Логическая  парадигма отождествляет знание с теорией, то есть теорией первого порядка.

Структурная парадигма  уделяет особое внимание организации  фактов, составляющих базу знаний. С вычислительной точки зрения, факты получаются из семантических элементов использованием заранее заданных правил. Примеры: семантические сети, фреймы, ER-диаграммы базы данных.

Согласно процедурной  парадигме, база знаний составлена из активных агентов с определенными образами действия. С вычислительной точки зрения, использование знаний сводится к реакции этих агентов на данную ситуацию согласно процедурным правилам в базе знаний.

Методы  хранения, поиска и обработки данных, методы естественно-языкового человеко-машинного  общения

Информационная  система представляет информацию о хранящихся записях для планирования, оценки и принятия решений,  она преобразует данные об операциях в машиночитаемую форму и вводит их в компьютер. После обработки данные сохраняются в форме, пригодной для компьютера, а для пользователей преобразуются в форму, удобную для чтения человеком. Операции, которые выполняются с данными в компьютерных системах, чтобы произвести информацию, образуют цикл обработки данных.

На этапе  ввода данных сведения об операциях  собираются и преобразуются в  форму, пригодную для машинной обработки.

Один из способов сбора данных состоит в использовании в качестве исходного документа заранее отпечатанной формы, в которую и вписываются данные операции. Примерами внутренних форм могут быть заказ на продажу, требование на приобретение, отчеты, табель рабочего времени. Внешние формы: счет-фактура поставщика, чеки, банковские переводы, предложения клиентов. Сначала исходные документы собираются в пакеты, а затем сканируются или вводятся в систему вручную.

Данные могут также  быть введены с использованием оборотного документа, содержащего какие-нибудь данные компании, посылаемые в стороннюю организацию, а затем возвращенные системе как ввод. Оборотные документы готовятся в машиночитаемой форме, чтобы облегчить их последующую обработку в виде входных записей.

Данные могут также  быть введены с клавиатуры терминала  или персонального компьютера. Например, банковский кассир вводит код счета  клиента, когда деньги кладутся или  снимаются с него.

Автоматизированные устройства сбора исходных данных предназначены для перевода данных об операциях в машиночитаемую форму непосредственно во время и на месте их возникновения. Примером служат денежные автоматы, используемые банками и сканеры, используемые в розничных магазинах.

Для того чтобы  облегчить последующую обработку, для ввода данных может также потребоваться следующая подготовка:

• классификация с помощью назначения кодов идентификации (номер счета, номер отдела и т.п.) для записей данных, которая должна базироваться на предопределенной системе, например на плане счетов;
• проверка данных для гарантии их точности и соответствия типов. Гораздо дешевле и эффективнее предотвращать ошибки ввода данных, чем искать и исправлять их в момент ввода или когда они уже в системе;
• передача из одного места в другое. Например, большинство банковских денежных автоматов (automated tellermachine - ATM) собирают и пересылают данные о проведенных операциях в главный офис для обработки.

Хранение данных. Данные компании - один из ее наиболее важных ресурсов. Тем не менее, само по себе существование актуальных данных не гарантирует их полезность. Для нормального функционирования организация должна иметь постоянный и эффективный доступ к своим данным. Поэтому те, для кого эти данные предназначены, должны понимать, как данные организовываются и хранятся в ИС и как к ним можно получить доступ. В сущности, им необходимо знать, как управлять данными для получения максимальной выгоды от их совместного использования.

Обработка данных. Наиболее общим типом обработки данных являются операции над данными, периодически выполняемые для коррекции хранящихся данных. Обычно используются четыре вида операций с данными:

• добавление - занесение новых записей в файл;
• удаление - уничтожение записи в файле;
• обновление - периодическая коррекция существующих записей, например, увеличение или уменьшение текущего баланса на сумму оформленной сделки;
• изменение - обновление полей, которое происходит нерегулярно, например, при изменении кредитных ставок или почтового адреса.

Обработка данных может включать и другие операции:

• расчет - любая форма математической обработки одной записи;
• сравнение - проверка двух или более элементов данных, например, объем запаса на складе с точкой производства заказа, чтобы определить какой из них больше, меньше или они равны;
• агрегирование - объединение данных многих записей в значимый итог;
• фильтрация - исключение лишних данных из последующей обработки;
• поиск - выбор элементов данных из памяти для обработки или вывода.

Файлы также  различаются в зависимости от того, когда обрабатываются операции. Операции можно использовать для обновления главных файлов по мере их поступления или они могут временно сохраняться, а затем обрабатываться группами. Рассмотрим эти два метода.

Пакетная обработка. Обработка операций в группах называется пакетной обработкой. Обработка происходит в заданные моменты времени (например ежечасно или ежедневно) или всякий раз, когда будет собрано заранее оговоренное количество (от 50 до 100, например) исходных документов. Она наиболее подходит для обработки операций, которые происходят в больших количествах, например платежной ведомости или кредитных счетов. Операции, объединенные в пакет, могут обрабатываться с помощью методов последовательного или прямого доступа. Дистанционная пакетная обработка происходит, когда записи об операциях записаны в машиночитаемой форме в нескольких географически удаленных друг от друга местах и в электронном виде передаются в центр обработки.

При пакетной обработке  входами для процедуры обновления главного файла служат старый главный файл и файл операций. Прежде чем операции могут быть обработаны, они должны быть собраны с помощью электроники, отсортированы в том же порядке, что и главный файл (если будут обрабатываться последовательно) и освобождены от ошибок и неполных данных. Затем для каждого пакета должны быть сгенерированы контрольные суммы. Примерами контрольных сумм являются общее количество обрабатываемых операций или их денежная сумма. Эти же суммы вычисляться затем на дальнейших этапах обработки и сравниваются с исходными суммами, чтобы проверить, все ли данные обработаны.