Компьютерный анализ текста

2.4.2 Классификация

 

В совокупности все программы  компьютерного анализа текста можно  разбить на тексты на естественном языке и системы распознавания  символов OCR.

1) Обработка текста  на естественном языке:

1. Электронные словари:

• Викисловарь – свободно пополняемый многофункциональный многоязычный словарь и тезаурус, основанный на вики-движке.

В словаре содержатся грамматические описания, толкования и переводы слов. Кроме того, в  статьях может отражаться информация об этимологии, фонетических свойствах  и семантических связях слов. Таким  образом, Викисловарь - попытка объединить в одном продукте грамматический, толковый, этимологический и многоязычный словари, а также тезаурус.

• GoldenDict - свободная оболочка для электронных словарей с открытым исходным кодом, поддерживающая многие форматы словарей ABBYY Lingvo, StarDict, Babylon, Dictd, а также произвольных словарных веб-сайтов (Википедия, Викисловарь).

Особенности:

• Вывод отформатированных статей с ссылками и картинками с помощью движка WebKit.
• При поиске слов с ошибками используется система морфологии на основе свободной программы для проверки орфографии Hunspell.
• Индексирование директорий со звуковыми файлами для формирования словарей с произношением слов.
• При поиске перевода пробелы, знаки пунктуации, диакритические знаки и регистр символов в поисковой фразе не играют роли.
• При выделении текста появляется всплывающее окно перевода.
• На сайте программы можно сразу же получить удобный русско-английский и англо-русский словарь, а также словарь произношений английских слов.

Аналоги: Мультитран, ПРОМТ, ABBYY Lingvo, Atlantida, Apertium, Babylon, Context, Dicto, Google Translate, Lingoes, LiteDict, MultiLex, Pragma, ProLing Office, StarDict, SYSTRAN, TransLite, WiseDict.

• Stardict - свободная оболочка для электронных словарей с открытым исходным кодом, способная, кроме собственно вывода статей, осуществлять перевод, озвучивать слова, использовать нечёткие запросы и шаблоны, поиск в онлайновых словарях. Разрабатывается на языке C++, с использованием графической библиотеки GTK 2 и кодировки UTF-8.

Возможности. Функция  программы сканирование выделенного  и отображение результата в всплывающих окнах:

Поиск по шаблону. Можно  вводить слова, содержащие "*" и "?" как шаблоны.

Нечеткий запрос. Можно  воспользоваться "нечётким запросом". Он использует алгоритм Левенштейна  для подсчёта похожести двух слов, и выдаёт слова, которые наиболее подходят введённому запросу. Для использования этой возможности запрос должен начинаться с "/".

Полнотекстовой поиск  предназначен для поиска слова в  словаре без помощи индекса. Более  медленный поиск, но позволяет искать совпадения в текстах статей.

Cканирование выделенного.  При выделении слова и, в  зависимости от настроек, при нажатии клавиш его перевод отображается в всплывающем окне.

Управление словарями. Выключение ненужных словарей, а также  установка порядок их использования при запросе.

Поиск в интернете  для различных он-лайн словарей.

Произношение слов. При  наличии звуковых записей словарь  может выполнять произношение слов.

Перевод полных текстов, используя интернет-сервисы.

2. Орфокорректоры (или  спеллчекеры):

• MS Word - Microsoft Word (часто - MS Word, WinWord или просто Word) - это текстовый процессор, предназначенный для создания, просмотра и редактирования текстовых документов, с локальным применением простейших форм таблично-матричных алгоритмов. Текстовый процессор, выпускается корпорацией Microsoft в составе пакета Microsoft Office. Первая версия была написана Ричардом Броди (Richard Brodie) для IBM PC, использующих DOS, в 1983 году. Позднее выпускались версии для Apple Macintosh (1984), SCO UNIX и Microsoft Windows (1989).
• aspell - GNU Aspell (или просто Aspell) - свободная программа для проверки орфографии, разработанная для замены Ispell. Это стандартная программа проверки орфографии для системы GNU. Она также компилируется под другие Unix-подобные операционные системы и Microsoft Windows. Основная программа лицензируется на условиях GNU LGPL, а документация - на условиях GNU FDL. Словари для неё доступны примерно на 70 языках. Основной разработчик - Кевин Аткинсон (Kevin Atkinson).

3. Системы автоматизированного  перевода, в т.ч. программы управления памятью переводов:

• OmegaT - система автоматизированного перевода, поддерживающая память переводов, написана на языке Java. Возможности продукта включают сегментацию исходного текста на основе регулярных выражений, использование точных (англ. exact) и неточных (англ. fuzzy) соответствий с уже переведенными фрагментами, использование словарей, поиск контекстов в базах данных переводов и работу с ключевыми словами.

Начиная с версии 2.04 OmegaT также может переводить текущий  абзац текста через Google Translate.

Для работы OmegaT требуется  версия Java 1.4, которая доступна для  ОС GNU/Linux, Mac OS X и Microsoft Windows, Windows NT. Может  работать с OpenJDK.

OmegaT поддерживает разнообразные  форматы исходных документов: текстовые  файлы (включая Unicode), файлы HTML/XHTML, StarOffice, OpenOffice.org и OpenDocument (ODF), а также файлы DocBook, MediaWiki, Microsoft OOXML, файлы .po (portable object) для библиотеки интернационализации gettext, XLIFF и текстовые файлы со структурой "Ключ=Значение". С файлами старых проприетарных форматов Microsoft Office (Word, Excel и PowerPoint) OmegaT не может работать непосредственно, их необходимо перевести в формат OpenDocument (например, с помощью OpenOffice.org) или OOXML с помощью Microsoft Office 2007.

• Trados - система автоматизированного перевода, первоначально (с 1992 года) разработанная немецкой компанией Trados GmbH. Является одним из мировых лидеров в классе систем Translation Memory (TM, Память переводов).

Система Trados состоит из модулей, предназначенных для перевода текстов различного формата: документов Microsoft Word, презентаций PowerPoint, текстов в формате HTML и других метаданных, документов FrameMaker, InterLeaf и др., а также для ведения терминологических баз данных (модуль MultiTerm). Последняя версия системы, выпущенная независимой компанией Trados - 7.0. Последняя версия Trados на сегодняшний день - SDL Trados Studio 2009.

Принцип работы. Концепция Translation Memory предполагает выявление  в переводимом тексте фрагментов, переводы которых уже имеются в базе данных переводов, и за счет этого сокращение объема работы переводчика. Фрагменты, оставшиеся непереведёнными, передаются дальше для ручной обработки переводчику или системе машинного перевода (Machine Translation, MT). Переводчик на этом этапе может выделить вновь переведённые фрагменты и занести новые пары параллельных текстов на двух языках в базу данных. Такая схема наилучшим образом работает в случае однотипных текстов, где повторяемость словосочетаний достаточно высока, т. е. в случае разного рода инструкций для пользователей, технических описаний.

2) Системы распознавания  символов OCR:

• Finereader - система оптического распознавания символов разработанная российской компанией ABBYY.

Возможности. Поддерживает распознавание текста на 186 языках и имеет встроенную проверку орфографии для 38 из них. По некоторым данным, после некоторого обучения системы она может начать распознавать рукописный текст, но его нужно будет учить под почерк пользователя.

• CuneiForm - свободно распространяемая открытая система оптического распознавания текстов российской компании Cognitive Technologies.

Первоначально система CuneiForm была разработана компанией Cognitive Technologies как коммерческий продукт. CuneiForm поставлялся с некоторыми моделями сканеров. Однако после нескольких лет перерыва разработки, 12 декабря 2007 года анонсировано открытие исходных текстов программы, которое состоялось 2 апреля 2008 года.

Особенности. CuneiForm позиционируется  как система преобразования электронных  копий бумажных документов и графических файлов в редактируемый вид с возможностью сохранения структуры и гарнитуры шрифтов оригинального документа в автоматическом или полуавтоматическом режиме. Система включает в себя две программы для одиночной и пакетной обработки электронных документов. CuneiForm - Шрифтонезависимая система.

• Tesseract - свободная программа для распознавания текстов, разрабатывавшаяся Hewlett-Packard с середины 1980-х по середину 1990-х, а затем 10 лет "пролежавшая на полке". Не так давно (в августе 2006 г) Google купил её и открыл исходные тексты под лицензией Apache 2.0 для продолжения разработки. В настоящий момент программа уже работает с UTF-8, поддержка языков (включая, русский с версии 3.0) осуществляется с помощью дополнительных модулей.
• OCRopus - OCR-система на базе не так давно открытого распознающего ядра — tesseract Программный пакет для распознавания текста, развивающийся по принципам Open Source и распространяющееся под Apache License 2.0. По задумке разработчиков, с помощью OCRopus станет возможным определять текстовое содержимое на цифровых изображениях и переводить его в обычный текстовый формат для дальнейшего редактирования. Помимо печатного текста, программа сможет распознавать и рукописные материалы. По состоянию на альфа-релиз, OCRopus использует язык моделирования код из другого проекта поддерживаемого Google OpenFST. OCRopus в настоящее время доступна только для GNU/Linux, но существуют сборки и для Debian GNU/Hurd и Debian GNU/kFreeBSD.

В настоящее время OCRopus использует только интерфейс командной строки, принимая указания на входные изображения с текстом, и выводя данные в формате hOCR (открытый формат на основе HTML). Если необходим более точный контроль, можно указать в командной строке команды для выполнения конкретных операций (например, распознание одной строки).

 

Заключение

 

Реальные преимущества цифровых технологий проявляются при  анализе действительно массивов информации, когда, пусть с серьезным  количеством ошибок, необходимо отобрать разумное число документов для тщательного качественного исследования.

Таким образом, благодаря  компьютерам сейчас удается упростить  или сделать ненужными многие классические операции обработки и  подготовки информации. При этом пока методы анализа текстов играют существенно  подчиненную и подготовительную роль для последующей вдумчивой работы специалистов, оснащенных проверенными методиками качественного исследования.

По сути сейчас происходит слияние обоих методов работы, как машинного, так и ручного. Конечно, на лицо все попытки свести ручной труд к минимуму, поскольку те объемы информации, которые мы имеем к настоящему времени, уже настолько велики, что оставить этот процесс не оснащенным технически было бы совершенно неуместно. Как стало известно по изучению данной темы, вопросом анализа текстов в разных его видах занимаются, как различные научные институты и организации, так и коммерческие фирмы-гиганты в информационной сфере, такие как, например, Microsoft Office, Apple и прочие.

Можно сделать вывод, что компьютерный анализ текстов  – это развивающаяся в настоящем сфера деятельности, которая перспективна в связи с все большим притоком информации в информационном пространстве и с все большей необходимостью в ее анализе и упорядочении.

 

 

 

 

 

 

 

 

 

 

 

Библиографический список и сайтография

 

1. Автоматический анализ текста на синтаксическом уровне [Электронный ресурс]. – Режим доступа: http://skowal.narod.ru/TeachCompMorph.htm (дата обращения: 20.11.2012).
2. Анализ документов [Электронный ресурс]. – Режим доступа: http://inforaz.narod.ru/analiz–2.html (дата обращения: 20.11.2012).
3. Анализ текста [Электронный ресурс]. – Режим доступа: http://ru.wikipedia.org/wiki/%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%B0 (дата обращения: 23.11.2012).
4. Валгина, Н. С. Теория текста [Текст] : учеб. пособие / Н. С. Валгина. – М. : Логос, 2003. – 280 с.
5. Ермаков, А. Е. Компьютерная лингвистика и анализ текста [Текст] / А. Е. Ермаков // Мир ПК. – 2002. – N9. – С.86-88.
6. Компьютерная лингвистика [Электронный ресурс]. – Режим доступа:http://www.krugosvet.ru/enc/gumanitarnye_nauki/lingvistika/KOMPYUTERNAYA_LINGVISTIKA.html (дата обращения: 20.11.2012).
7. Компьютерная лингвистика [Электронный ресурс]. – Режим доступа: http://elanina.narod.ru/lanina/index.files/intell/lingvistik.htm (дата обращения: 23.11.2012).
8. Компьютерный анализ генетических текстов [Электронный ресурс]. – Режим доступа: http://gen–inj.narod.ru/44.htm (дата обращения: 23.11.2012).
9. Орлова, О. В. Компьютерный анализ поэтического текста и моделирование ассоциативно–смыслового поля ключевого концепта творчества автора [Электронный ресурс] / О. В. Орлова. – Режим доступа: http://huminf.tsu.ru/e–jurnal/magazine/1/orlova.htm (дата обращения: 21.11.2012).
10. Петров, А. Н. Компьютерный анализ текста [Электронный ресурс]: историография метода / А. Н. Петров. – Режим доступа: http://kleio.asu.ru/aik/krug/3/20.shtml (дата обращения: 20.11.2012).