Информация и ее свойства

     Обозначив через К положительную константу, получим: f(X) =К ∙ lnХ, или, с учетом (1), H=K ∙ ln N. Обычно принимают К = 1 / ln 2. Таким образом

H = log₂ N.                                                                     (5)

     Это – формула Хартли.

     Важным  при введении какой-либо величины является вопрос о том, что принимать за единицу ее измерения. Очевидно, Н будет равно единице при N=2. Иначе говоря, в качестве единицы принимается количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (примером такого опыта может служить бросание монеты, при котором возможны два исхода: “орел”, “решка”). Такая единица количества информации называется “бит”.

     Все N исходов рассмотренного выше опыта являются равновероятными и поэтому можно считать, что на “долю” каждого исхода приходится одна N-я часть общей неопределенности опыта: (log₂ N)/N. При этом вероятность i-го исхода Р_i равняется, очевидно, 1/N.

     Таким образом,

                                                       (6)

     Та  же формула (6) принимается за меру энтропии в случае, когда вероятности различных исходов опыта неравновероятны (т.е. Р_i могут быть различны). Формула (6) называется формулой Шеннона.

Объемный  подход

     В двоичной системе счисления знаки 0 и 1 будем называть битами (от английского выражения Binary digiTs – двоичные цифры). Создатели компьютеров отдают предпочтение именно двоичной системе счисления потому, что в техническом устройстве наиболее просто реализовать два противоположных физических состояния: некоторый физический элемент, имеющий два различных состояния: намагниченность в двух противоположных направлениях; прибор, пропускающий или нет электрический ток; конденсатор, заряженный или незаряженный и т.п. В компьютере бит является наименьшей возможной единицей информации. Объем информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации подсчитывается просто по количеству требуемых для такой записи двоичных символов. При этом, в частности, невозможно нецелое число битов (в отличие от вероятностного подхода).

     Для удобства использования введены  и более крупные, чем бит, единицы  количества информации. Так, двоичное слово из восьми знаков содержит один байт информации, 1024 байта образуют килобайт (кбайт), 1024 килобайта – мегабайт (Мбайт), а 1024 мегабайта – гигабайт (Гбайт).

     Между вероятностным и объемным количеством  информации соотношение неоднозначное. Далеко не всякий текст, записанный двоичными  символами, допускает измерение  объема информации в кибернетическом  смысле, но заведомо допускает его  в объемном. Далее, если некоторое сообщение допускает измеримость количества информации в обоих смыслах, то они не обязательно совпадают, при этом кибернетическое количество информации не может быть больше объемного.

     В прикладной информатике практически  всегда количество информации понимается в объемном смысле. 

     Список использованной литературы

1. Информатика. Базовый курс / Под ред. С.В. Симоновича. – СПб.: Питер, 2005. – 640 с.
2. Могилев А.В., Пак Н.И., Хённер Е.К. Информатика. – М.: Академия, 2004 . – 848 с.
3. Могилев А.В. Практикум по информатике. – М.: Издательский центр «Академия», 2005. – 608 с.