Вероятностный подход к измерению информации

Первое. Формула Шеннона может быть представлена как математическое ожидание величины  :

,

откуда частная информация  , получаемая от отдельного события, состоящего в том, что некоторая система Х находится в состоянии  i имеет вид:

.................................................................. (17)

Второе. Когда рассматриваются две взаимосвязанные системы Х и Y, частная информация  , содержащаяся в событии   относительно системыХ, выражается следующим образом:

, .............................................(18)

где   - условная вероятность   при наступлении  .

Из анализа структуры выражения (18) выводится частная информация   о событии  , содержащаяся в событии  :

....................................................... (19)

Частная информация   имеет название "информация от события к событию" и интерпретируется следующим образом: "Частная информация о событии, получаемая в результате сообщения о другом событии, равна логарифму отношения вероятности первого события после сообщения к его же вероятности до сообщения" [4, с. 492].

Нетрудно видеть, что информация от события к событию может иметь как положительные, так и отрицательные значения, то есть:

 и  .

Приведенная характеристика вероятностного подхода к определению количества информации относится к дискретным средам. Так как по существующим представлениям любая непрерывная среда может быть представлена в дискретном виде, покажем вероятностный подход к измерению информации для случая непрерывных сред, разработанный одним из основоположников кибернетики Н. Винером [5]. (В отношении же квантования непрерывных сред можно привести мнение академика В.М. Глушкова, связанное с кибернетическими системами: "Всякий реальный преобразователь непрерывной информации обладает по крайней мере тремя ограничениями, делающими возможным дискретный подход к описанию его работы" [8, с. 40]. Такими ограничениями являются разрешающая способность, чувствительность и пропускная способность преобразователя. )

Н. Винер исходил из того, что в кибернетических системах элементарной формой информации является запись (запоминание) выбора одной из двух равновероятных возможностей, который он называл решением. Если известно, что значение некоторой непрерывной величины находится внутри интервала (0, 1) и стоит задача совершенно точно определить это значение, то количество выборов, которое необходимо при этом сделать, выражается бесконечной двоичной дробью:

где   имеет значение 0 или 1.

В действительности никакое измерение непрерывной величины не может быть совершенно точным, в связи с чем далее Н. Винер рассуждал следующим образом: "Если измерение имеет равномерно распределенную ошибку, лежащую в интервале длины  , где   есть первый разряд, не равный 0, то, очевидно, все решения от   до   и, возможно, до   будут значащими, а все последующие нет. Число принятых решений, очевидно, близко

. .............................................................(19)

Мы примем это выражение за точную формулу количества информации и за его определение" [5, с. 82].

Выражение (19) имеет следующую авторскую интерпретацию: "Мы знаем априори, что некоторая переменная лежит между нулем и единицей, и знаем апостериори, что она лежит в интервале (a,b) внутри интервала (0,1). Тогда количество информации (I), полученное нами из апостериорного знания, равно" [5, с. 83]:

 .................................................. (20)

В том случае, когда априорно известно, что вероятность нахождения определяемой величины между x и   равна  , а апостериорная вероятность равна  , Н. Винером предложено для оценки информации, которую дает апостериорная вероятность, использовать формулу:

......................................................... (21)

Нетрудно видеть, что при квантовании интервалов каким-либо образом формулы Винера (20) и (21) сводятся соответственно к двоичному логарифму Хартли и энтропии Шеннона. Причем в последнем случае тот факт, что в формуле Шеннона имеется отрицательный множитель (–1), а в формуле Винера его нет, принципиального значения не имеет. Это наглядно показал Р.Эшби на примере двух способов измерения расстояний с помощью линейки [26]. Приведем этот пример.

На рис. 4 показаны две линейки W и S (W и S – начальные буквы фамилий Винер и Шеннон на английском языке). Даны две точки P и Q, соответствующие состояниям неопределенности до (Р) и после (Q) получения сообщений. Естественно, что количество информации, получаемое в результате сообщения, равно расстоянию PQ, которое может быть измерено двумя эквивалентными способами. 

Рис. 4. Измерение расстояния между точками P и Q 
с помощью двух линеек W и S.

По способу Винера линейка W прикладывается к точкам P и Q произвольным образом, а расстояние PQ определяется как разность отсчетов: (отсчет дляQ) минус (отсчет для Р). По способу Шеннона линейка S прикладывается строго определенным образом, а именно – нуль совмещается с точкой Q и тогда расстояние PQ определяется как: минус (отсчет для Р). То есть принципиального различия в измерении количества информации по способам Винера и Шеннона не существует.

В заключение общей характеристики вероятностного подхода отметим, что его развитие отодвинуло в тень чисто комбинаторный подход определения количества информации, за внешней простотой которого, в соответствии с мнением А.Н. Колмогорова [12], потенциально скрываются нетривиальные решения различных информационных проблем.

Анализ приведенных сведений о вероятностном подходе к количественному определению информации позволяет высказать следующее.

Основополагающая формула вероятностного подхода – формула Шеннона (16) – в рассматриваемом аспекте изначально имеет интеграционную природу относительно n-й совокупности отражающих объектов закрытого системного объекта, в силу чего, "вклад" i-го отражающего объекта в получаемое количество информации по этой формуле, не может рассматриваться в качестве его негэнтропийной оценки. Это также следует из того, что, например, если мы имеем два отражающих системных объекта B и C с вероятностями встречи их существенных признаков   и   у элементов отражаемого объекта, соответственно равными   и  , то, оценивая "вклад" каждого из них в общее количество информации по формуле Шеннона, как величину  , мы получим, что эти "вклады" равны:

,

чего, естественно, при оценке негэнтропии отражения быть не должно.

Формула частной информации, выражаемая логарифмом вероятности (17), в данном случае дает нам, что

,

то есть мы опять получаем выше рассмотренное приложение формулы Бриллюэна (14).

В отношении же частной информации "от события к событию" (19) можно сказать, что уже сама констатация того, что эта информация может принимать отрицательные значения, вызывает принципиальные возражения против ее использования для количественной оценки негэнтропии отражения системных объектов, поскольку последняя является неотрицательной величиной. В связи с этим следует отметить, что практическое использование информации "от события к событию" ограничено только тем числом случаев, когда познающего субъекта интересует количественный аспект прагматической ценности получаемых сведений. То есть, если полученная информация приближает субъекта к достижению некоторой утилитарной цели, то ее количественная оценка по формуле (19) является положительной, а если она отдаляет от достижения цели, то и оценка ее отрицательна. Проиллюстрируем это классическим примером, взятым из работы Е.А. Вентцель. – "В урне 3 белых и 4 черных шара. Из урны вынуто 4 шара, три из них оказались черными, а один – белым. Определить информацию, заключенную в наблюденном событии B по отношению к событию A - следующий вынутый из урны шар будет черным" [4, с. 493]. Решение по формуле (19) дает, что

В приведенном примере негэнтропия отражения представляет собой информацию, которую отражает группа шаров одного цвета (белого или черного) относительно всей совокупности шаров, находящихся в урне, то есть она никакого отношения к информации "от события к событию" не имеет.

Изложенное свидетельствует, что вероятностный подход к определению количества информации, основанный на формуле Шеннона (16), не дает удовлетворительных способов оценки негэнтропии отражения системных объектов. В связи с этим уместно привести высказывание математика Р.Л. Добрушина относительно теории Шеннона в целом: "Столь общий многообразный объект, как информация, не может допускать единого метода численного измерения, а идеи Шеннона обоснованы лишь в применении к той важной, но все же ограниченной ситуации, когда рассматриваются оптимальные методы кодирования и декодирования информации в целях передачи ее по каналам связи или ее хранения" [10, с. 254]. Примечательно, что сам Шеннон, понимавший ограниченность сферы приложения вероятностной теории информации, писал: “Сознавая, что теория информации является сильным средством решения проблем теории связи, нельзя забывать, что она не является панацеей для инженера-связиста, а тем более для представителей всех других специальностей” [25, с. 667] .

2.1. Подходы к измерению информации

При всем многообразии подходов к определению понятия информации, с позиций измерения информации нас интересуют два из них: определение К. Шеннона, применяемое в математической теории информации, и определение А. Н. Колмогорова, применяемое в отраслях информатики, связанных с использованием компьютеров (computer science).  
     В содержательном подходе возможна качественная оценка информации: новая, срочная, важная и т.д. Согласно Шеннону, информативность сообщения характеризуется содержащейся в нем полезной информацией - той частью сообщения, которая снимает полностью или уменьшает неопределенность какой-либо ситуации. Неопределенность некоторого события - это количество возможных исходов данного события. Так, например, неопределенность погоды на завтра обычно заключается в диапазоне температуры воздуха и возможности выпадения осадков.  
     Содержательный подход часто называют субъективным, так как разные люди (субъекты) информацию об одном и том же предмете оценивают по-разному. Но если число исходов не зависит от суждений людей (случай бросания кубика или монеты), то информация о наступлении одного из возможных исходов является объективной. 
     Алфавитный подход основан на том, что всякое сообщение можно закодировать с помощью конечной последовательности символов некоторого алфавита. С позиций computer science носителями информации являются любые последовательности символов, которые хранятся, передаются и обрабатываются с помощью компьютера. Согласно Колмогорову, информативность последовательности символов не зависит от содержания сообщения, а определяется минимально необходимым количеством символов для ее кодирования. Алфавитный подход является объективным, т.е. он не зависит от субъекта, воспринимающего сообщение. Смысл сообщения учитывается на этапе выбора алфавита кодирования либо не учитывается вообще. На первый взгляд определения Шеннона и Колмогорова кажутся разными, тем не менее, они хорошо согласуются при выборе единиц измерения.

2.2. Единицы измерения информации

Решая различные задачи, человек вынужден использовать информацию об окружающем нас мире. И чем более полно и подробно человеком изучены те или иные явления, тем подчас проще найти ответ на поставленный вопрос. Так, например, знание законов физики позволяет создавать сложные приборы, а для того, чтобы перевести текст на иностранный язык, нужно знать грамматические правила и помнить много слов.  
     Часто приходится слышать, что сообщение или несет мало информации или, наоборот, содержит исчерпывающую информацию. При этом разные люди, получившие одно и то же сообщение (например, прочитав статью в газете), по-разному оценивают количество информации, содержащейся в нем. Это происходит оттого, что знания людей об этих событиях (явлениях) до получения сообщения были различными. Поэтому те, кто знал об этом мало, сочтут, что получили много информации, те же, кто знал больше, чем написано в статье, скажут, что информации не получили вовсе. Количество информации в сообщении, таким образом, зависит от того, насколько ново это сообщение для получателя.  
     Однако иногда возникает ситуация, когда людям сообщают много новых для них сведений (например, на лекции), а информации при этом они практически не получают (в этом нетрудно убедиться во время опроса или контрольной работы). Происходит это оттого, что сама тема в данный момент слушателям не представляется интересной.  
     Итак, количество информации зависит от новизны сведений об интересном для получателя информации явлении. Иными словами, неопределенность (т.е. неполнота знания) по интересующему нас вопросу с получением информации уменьшается. Если в результате получения сообщения будет достигнута полная ясность в данном вопросе (т.е. неопределенность исчезнет), говорят, что была получена исчерпывающая информация. Это означает, что необходимости в получении дополнительной информации на эту тему нет. Напротив, если после получения сообщения неопределенность осталась прежней (сообщаемые сведения или уже были известны, или не относятся к делу), значит, информации получено не было (нулевая информация).  
     Если подбросить монету и проследить, какой стороной она упадет, то мы получим определенную информацию. Обе стороны монеты "равноправны", поэтому одинаково вероятно, что выпадет как одна, так и другая сторона. В таких случаях говорят, что событие несет информацию в 1 бит. Если положить в мешок два шарика разного цвета, то, вытащив вслепую один шар, мы также получим информацию о цвете шара в 1 бит. Единица измерения информации называется бит (bit) - сокращение от английских слов binary digit, что означает двоичная цифра.  
     В компьютерной технике бит соответствует физическому состоянию носителя информации: намагничено - не намагничено, есть отверстие - нет отверстия. При этом одно состояние принято обозначать цифрой 0, а другое - цифрой 1. Выбор одного из двух возможных вариантов позволяет также различать логические истину и ложь. Последовательностью битов можно закодировать текст, изображение, звук или какую-либо другую информацию. Такой метод представления информации называется двоичным кодированием (binary encoding).  
     В информатике часто используется величина, называемая байтом (byte) и равная 8 битам. И если бит позволяет выбрать один вариант из двух возможных, то байт, соответственно, 1 из 256 (28). В большинстве современных ЭВМ при кодировании каждому символу соответствует своя последовательность из восьми нулей и единиц, т. е. байт. Соответствие байтов и символов задается с помощью таблицы, в которой для каждого кода указывается свой символ. Так, например, в широко распространенной кодировке Koi8-R буква "М" имеет код 11101101, буква "И" - код 11101001, а пробел - код 00100000.  
     Наряду с байтами для измерения количества информации используются более крупные единицы:  
     1 Кбайт (один килобайт) = 210 байт = 1024 байта;  
     1 Мбайт (один мегабайт) = 210 Кбайт = 1024 Кбайта;  
     1 Гбайт (один гигабайт) = 210 Мбайт = 1024 Мбайта.