Теоретические основы сжатия данных

Теоретические основы сжатия данных

 

Характерной особенностью большинства «классических» типов  данных, с которыми

традиционно работают люди, является определенная избыточность. Степень

избыточности  зависит от типа данных. Однако, когда  речь заходит о хранении

готовых документов или их передаче, то избыточность можно  уменьшить, что дает

эффект сжатия данных. Если методы сжатия информации применяют к готовым

документам, то нередко термин сжатие данных подменяют  термином архивация

данных, а программные  средства, выполняющие эти операции, называют

архиваторами,

    

Объекты сжатия

 

В зависимости  от того, в каком объекте размещены  данные, подвергаемые сжатию,

различают:

• уплотнение (архивацию) файлов;

• уплотнение (архивацию) папок;

• уплотнение дисков.

Уплотнение файлов применяют для уменьшения их размеров при подготовке к

передаче по каналам электронных сетей или  к транспортировке на внешнем

носителе малой  емкости, например на гибком диске.

Уплотнение папок  используют как средство архивации  данных перед длительным

хранением, в  частности, при резервном копировании.

Уплотнение дисков служит целям повышения эффективности  использования их

рабочего пространства и, как правило, применяется к  дискам, имеющим

недостаточную емкость.

    

Обратимость сжатия

 

Несмотря на изобилие алгоритмов сжатия данных, теоретически есть только три

способа уменьшения их избыточности. Это либо изменение  содержания данных,

либо изменение  их структуры, либо и то и другое вместе.

Если при сжатии данных происходит изменение их содержания, метод сжатия

необратим и  при восстановлении данных из сжатого  файла не происходит полного

восстановления  исходной последовательности. Такие  методы называют также

методами сжатия с регулируемой потерей информации. Они применимы только для

тех типов данных, для которых формальная утрата части содержания не приводит

к значительному  снижению потребительских свойств. В первую очередь это

относится к  мультимедийным данным:

видеорядам, музыкальным  записям, звукозаписям и рисункам. Методы сжатия с

потерей информации обычно обеспечивают гораздо более высокую степень сжатия,

чем обратимые  методы, но их нельзя применять к  текстовым документам, базам

данных и, тем  более, к программному коду. Характерными форматами сжатия с

потерей информации являются:

• ЗРО для  графических данных;

• МРО для  видеоданных;

• МРЗ для  звуковых данных.

Если при сжатии данных происходит только изменение  их структуры, то сжатия

обратим. Из результирующего  кода можно восстановить исходный массив путем

применения

обратного метода. Обратимые методы применяют для сжатия любых типов данных.

Характерными  форматами сжатия без потери информации являются:

• .О1Р, .Т1Р, .РСХ  и многие другие для графических  данных;

• .АУI для видеоданных;

• . .АЮ, .1{АК, .Ii7Н, ,ЕН, .САВ и многие другие, для любых  типов данных.

Алгоритмы обратимых  методов

При исследовании методов сжатия данных следует иметь  в виду существование

следующих доказанных теорем.

1. для любой  последовательности данных существует  теоретический предел,

который не может  быть превышен без потери части информации.

2. для любого  алгоритма сжатия можно указать  такую последовательность данных,

для которой  он обеспечит лучшую степень сжатия, чем другие методы.

З. для любого алгоритма сжатия можно указать  такую последовательность данных,

для которой  данный алгоритм вообще не позволит получить сжатия.

Таким образом, обсуждая различные методы сжатия, следует иметь в виду

наивысшую эффективность  они демонстрируют для данных разных типов и разных

объемов.

Существует достаточно много обратимых методов сжатия данных, однако в основе

лежит сравнительно небольшое количество теоретических  алгоритмов.

Алгоритм 1Е

В основу алгоритмов I?ЁЕ положен принцип выявления  повторяющихся

последовательностей данных и замены их простой структурой, в которой

указывается код  данных и коэффициент повтора.

Алгоритм К

В основу алгоритмов кодирования по ключевым словам (Кеу  Епсоаiп положено

кодирование лексических  единиц исходного документа группами байтов

фиксированной длины. Примером лексической единицы  может служить слово

(последовательность сим воло в, справа и слева ограниченная пробелами или

символами конца  абзаца). Результат кодирования сводится в таблицу, которая

прикладывается  к результирующему коду и представляет собой словарь. Обычно

для англоязычных текстов принято использовать двухбайтную кодировку слов.

Образующиеся  при этом пары байтов называют токенами.

Эффективность данного метода существенно зависит  от длины документа,

поскольку из-за необходимости прикладывать к архиву словарь длина кратких

документов , не только не уменьшается, но даже возрастает.

Алгоритм Хафмана

В основе этого  алгоритма лежит кодирование  не байтами, а битовыми группами.

• Перед началом  кодирования производится частотный  анализ кода документа и

выявляется частота  повтора каждого из встречающихся  символов.

• Чем чаще встречается тот или иной символ, тем меньшим количеством битов он

кодируется (соответственно, чем реже встречается символ, тем  длиннее его

кодовая битовая  последовательность).

• Образующаяся в результате кодирования иерархическая  структура

прикладьтвается к сжатому документу в качестве таблицы соответствия.

Синтетические алгоритмы

Рассмотренные выше алгоритмы в «чистом виде»  на практике не применяют того,

что эффективность  каждого из них сильно зависит  от начальных условий. В связи

с этим, современные средства архивации данных используют более сложные

алгоритмы, основанные на комбинации нескольких теоретических  методов. Общим

принципом в  работе таких «синтетических» алгоритмов является предварительный

просмотр и  анализ исходных данных для индивидуальной настройки алгоритма на

особенности обрабатываемого  материала.

Программные средства сжатия дан ных

«Классическими» форматами сжатия данных, широко используемыми  в повседневной

работе с компьютером, являются форматы .2ЛР и .АЮ. В последнее  время к ним

добавился популярный формат .КАК.

В первую очередь, это связано с тем, что при  обработке файлов происходит

утрата «длинных имен» файлов и подмена их именами  М по спецификации 8.3. Это

может создать  потребителю документа определенные неудобства, а в случаях,

когда архивация  производится с целью резервного копирования, утрата «длинных

имен» вообще недопустима.

Базовые требования к диспетчерам архивов

Современные программные  средства для создания и обслуживания архивов

отличаются большим  объемом функциональных возможностей, многие из которых

выходят далеко за рамки простого сжатия данных и  эффективно дополняют

стандартные средства операционной системы. В этом смысле современные средства

архивации данных называют диспетчерами архивов.

К базовым функциям, которые выполняют большинство современных диспетчеров

архивов, относятся:

• извлечение файлов из архивов;

• создание новых  архивов;

• добавление файлов в имеющийся архив;

• создание самораспаковывающихся  архивов;

• создание распределенных архивов на носителях малой емкости;

• тестирование целостности структуры архивов;

• полное или  частичное восстановление поврежденных архивов;

• защита архивов  от просмотра и несанкционированной  модификации.

Самораспаковывающиеся архивы. В тех случаях, когда архивация  производится для

передачи документа  потребителю, следует предусмотреть  наличие у него

программного  средства, необходимого для извлечения исходных данных из

уплотненного  архива. Если таких средств у потребителя  нет или нет оснований

предполагать  их наличие, создают самораспаковывающиеся архивы.

Самораспаковывающийся архив готовится на базе обычного архива путем

присоединения к нему небольшого программного модуля. Сам архив получает

расширение имени .ЕХЕ, характерное для исполнимых файлов. Потребитель сможет

выполнить его  запуск как программы, после чего распаковка архива произойдет

на его компьютере автоматически.

Распределенные  архивы. В тех случаях когда  предполагается передача большого

архива на носителях  малой емкости, например на гибких дисках, возможно

распределение одного архива в виде малых фрагментов на нескольких носителях.

Защита архивов. В большинстве случаев защиту архивов выполняют с помощью

пароля, который  запрашивается при попытке просмотреть, распаковать или

изменить архив.

дополнительные  требования к диспетчерам архивов

К дополнительным функциям диспетчеров архивов относятся  сервисные функции,

делающие работу более удобной. Они часто реализуются  внешним подключением

дополнительных  служебных программ и обеспечивают:

просмотр файлов различных форматов без извлечения их из архива;

поиск файлов и  данных внутри архивов;

установку программ из архивов б предварительной  распаковки;

‘ проверку отсутствия компьютерных вирусов в архиве до его распаковки;

‘ криптографическую  защиту архивной информации;

ъ декодирование  сообщений электронной почты;

чi «прозрачное» уплотнение исполнимых файлов .ЕХЕ  и .IЭЕЕ; создание