Автор работы: Пользователь скрыл имя, 15 Апреля 2014 в 18:31, реферат
Перед тем как рассматривать вероятностный подход к измерению информации, мы рассмотрим такие основные понятия, как информация и измерение информации
Информация — сведения о чём-либо, независимо от формы их представления.
Министерство образования и науки Российской Федерации
ИНСТИТУТ ГУМАНИТАРНОГО ОБРАЗОВАНИЯ И ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ
Факультет информационных технологий
Кафедра информационных систем и технологий
Москва 2014
Перед тем как рассматривать вероятностный подход к измерению информации, мы рассмотрим такие основные понятия, как информация и измерение информации
Информация — сведения о чём-либо, независимо от формы их представления.
В настоящее время не существует единого определения информации как научного термина. С точки зрения различных областей знания данное понятие описывается своим специфическим набором признаков. Понятие «информация» является базовым в курсе информатики, где невозможно дать его определение через другие, более «простые» понятия (так же, в геометрии, например, невозможно выразить содержание базовых понятий «точка», «прямая», «плоскость» через более простые понятия). Содержание основных, базовых понятий в любой науке должно быть пояснено на примерах или выявлено путём их сопоставления с содержанием других понятий. В случае с понятием «информация» проблема его определения ещё более сложная, так как оно является общенаучным понятием. Данное понятие используется в различных науках (информатике, кибернетике, биологии, физике и др.), при этом в каждой науке понятие «информация» связано с различными системами понятий.
Измерение информации
Вопрос «как измерить информацию?» ответ непростой. Ответ на него зависит от того, что мы должны понимать под словом информацией. Но поскольку определять информацию можно по-разному, и конечно способы измерения информации могут быть различными. Всего существует три подхода к измерению количества информации. При этом они различны и применяются в быту, технике и в теории информации.
Измерение информации в быту
Предположим, что Вы вдруг получили какое-то сообщение. ( например прочитали статью в каком то журнале). В этом сообщение содержится какое-то не известное количество информации. Как оценить, сколько вы получили? Другими словами, как измерить информацию?
Можно ли сказать, что чем больше наша статья, тем больше информации она содержит? Разные люди, получившие одну и ту же информацию по разному оценивают количество информации, содержащееся в нем. Это происходит оттого, что знания этих людей об этих событиях до получения сообщения были различны. Поэтому те, кто знал об этом мало, подумают, что получили много информации, те же, кто знал более, чем написано в статье, скажут, что не получили информации. Таким образом можно сказать, что количество информации зависит от того насколько новой является эта информация для нашего клиента.
При таком подходе непонятно, по каким критериям можно ввести единицу измерения информации. Следовательно, с точки зрения информации как новизны мы не можем оценить количество информации, содержащейся в научном открытии, новой теории общественного развития.
Измерение информации в технике
В технике информацией считается любая хранящаяся , обрабатываемая или передаваемая последовательность символов. Часто используют простой и грубый способ определения количества информации, который может быть назван объёмным. Он основан на подсчете количества символов в сообщении, т. е. связан с его длиной и не учитывает содержания.
Длина сообщения зависит от числа различных символов, употребляемых для записи сообщения. В вычислительной технике применяются две стандартные единицы измерения: бит ( двоичный знак двоичного алфавита {0,1}) - минимальная единица измерения информации и байт - (равен восьми битам, представляет собой один символ, т.е. при вводе с клавиатуры этого символа машине передается 1 байт информации).
Измерение информации в теории информации (информация, как снятая неопределенность).
Пылкий влюбленный, находясь в разлуке, с объектом своей любви, посылает телеграмму; “Любишь?”. В ответ приходит не менее лаконичная телеграмма: “Да!”. Сколько информации несет ответная телеграмма? Альтернатив здесь две- либо “Да”, либо “нет». Их можно обозначить знаками двоичного кода - 1 и 0. Таким образом, ответную телеграмму можно было бы закодировать всего одним двоичным символом. содержащееся Можно ли сказать, что ответная телеграмма несет одну единицу информации? Получение информации ( ее увеличение ) одновременно означает увеличение знания или уменьшение информационной неопределенности.
Книга лежит на одной из двух полок - верхней или нижней. Сообщение о том, что книга лежит на верхней полке уменьшает неопределенность в два раза.
В простейшем случае выбор одного из двух сообщений ("да" или "нет", 0 или 1) принимают за единицу информации. Она названа "бит" или двоичная цифра. Вопрос ценности этой информации для получателя - это уже из иной области.
Сообщение о том, как упала монета- "орлом" или "решкой" несет один бит информации.
Известно, что Иванов живет на улице Весенней. Сообщение о том, что номер его дома четный, уменьшило неопределенность вдвое, мы стали знать больше, но информационная неопределенность осталась. Почему в этом случае мы не можем сказать, что информационная неопределенность уменьшилась вдвое? Если вы затрудняетесь ответить на этот вопрос, представьте себе улицу, на четной стороне которой, например, четыре дома, а на нечетной - двадцать. Такие улицы не такая уж большая редкость.
Очень приближенно можно сказать, что количество информации в сообщении о каком-то событии совпадает с количеством вопросов, которые необходимо задать, чтобы получить ту же информацию, ответ на эти вопросы может быть лишь "да" или "нет".
В теории информации количеством информации называют числовую характеристику сигнала, не зависящую от его формы и содержания и характеризующую неопределенность, которая исчезает после получения сообщения в виде данного сигнала. В этом случае количество информации зависит от вероятности получения сообщения о том или ином событии.
Для абсолютно достоверного события (событие обязательно произойдет, поэтому его вероятность равна 1) количество вероятности в сообщении о нем равно 0. Чем невероятнее событие, тем большую информацию о нем несет сообщение. Лишь при равновероятных ответах ответ "да" или "нет" несет 1 бит информации.
Оценка информации, так же как вещества или энергии, может быть субъективной и объективной. В первом случае главное - смысл информации, а во втором - её измеримость.
Смысл информации для машины, обрабатывающей её - это абсурд. Субъективная оценка информации не является универсальной.
При объективной оценке информации следует отрешиться от содержания её человеческой "важности" для кого бы то ни было. Измеримость информации достигается использованием искусственных органов чувств - устройств, приборов, датчиков и т. д. Они не только расширяют пределы слышимого и видимого, но и могут обрабатывать сигналы, не доступные органам чувств человека.
Информацию измеряют так же, как измеряют вещество и энергию, приняв некоторую единицу измерения за эталон. Что же принять за эталон? Компьютерная техника, как известно, работает, “питаясь” электрическим током – явлением с двумя состояниями. Если обозначить эти состояния (ведь смысл самого явления не важен!), получится алфавит из двух символов или двоичный алфавит.
Количество информации, которое содержит символ двоичного алфавита, принято за единицу измерения информации.
Так как речь идет о единицах и количестве, то в качестве символов используются цифры. Исторически случилось так, что этими цифрами стали 0 и 1.
Единица измерения количества информации называется БИТ (от англ. bit, сокращенно от binary digit – двоичная цифра).
Бит - самое короткое слово двоичного алфавита и самая маленькая единица измерения информации, причем символы 0 и 1 равноправны. Для удобства введена более крупная единица измерения количества информации, принятая Международной системой СИ за основную, - БАЙТ (англ. byte).
1 байт (b) = 8 бит
Производные единицы измерения информации:
1 килобайт, Kb (K) = 1024 b (210 b)
1 мегабайт, Mb (M) = 1024 Kb (210 Kb) = 220 b
1 гигабайт, Gb (G) = 1024 Mb (210 Мb) = 230 b
Первый способ измерения информации отражает вероятностный (содержательный) подход. Этот метод называется субъективным
Информация - сведения об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся о них степень неопределенности, неполноты знаний.
Точнее раскрыть суть определения помогает понять то, какие задачи помогает решить информация (а не то, что собой она представляет).
Информация устраняет неопределенность, предоставляет человеку сделать выбор в пользу какого-либо варианта исхода некоторого события. Таким образом, информация начинает играть роль в том случае, если, во-первых, имеется некоторый выбор вариантов и, во-вторых, если эти варианты требуется определенным способом оценить. Информация предоставляет человеку возможность дать такую оценку.
Рассмотрим равновероятностные варианты.
Подойдя к развилке дорог, человек, направляющийся в определенное место, неожиданно встает перед выбором, на какую же из них свернуть. Он выбирает ту дорогу, которая ведет к цели. Если он знает, по какой из дорог он доберется до места, то информация ему не нужна. С самого начала он способен оценить оба варианта. Если же вся обстановка совершенно незнакома и у него нет никаких исходных данных, то ему нужна информация. Объем информации, требующейся при полном отсутствии предварительных данных для выбора одного из двух равноценных и совершенно независимых вариантов, принято считать единицей информации и обозначать, как бит.
1 бит - количество информации, позволяющее выбрать один вариант из двух равноценных, независимых вариантов.
Чтобы иметь возможность сделать правильный выбор между четырьмя различными дорогами, требуется два бита информации. Поясним это на таком примере. Сначала две дороги делят на две группы по две дороги в каждой. Далее выбираем группу как один из двух равноценных вариантов, т. е. нам требуется один бит информации, После того, как будет выбрана группа, в ней опять делается выбор между двумя дорогами и нам требуется еще один бит. В сумме получаем два бита информации для выбора одного из четырех вариантов.
Если бы нам потребовалось сделать выбор из восьми вариантов, то нужно было бы три бита информации: один бит идет на выбор между двумя группами из четырех дорог, второй - в группе из четырех выбираем подгруппу, состоящую из двух дорог, третий бит - выбираем из двух дорог ту, по которой пойдем.
Для выбора одного варианта из 16 требуется четыре бита информации и т.д. Здесь уже прослеживается определенная закономерность: при n битах информации нужный вариант выбирается из 2n возможных.
И наоборот, указав один нужный вариант из 2n возможных и одинаково принимаемых в расчет, мы дадим информацию в n битов.
Количество информации n, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения: 2^n = N = > i = log2N (формула Хартли ).
Если события имеют разные вероятности, то применяется формула Шеннона, имеющая вид i= - Σ Pi log2 Pi = -(P1 log2 P1+ P2 log2 P 2 + ... + Pn log2 Pn), где i – количество информации, N – количество возможных событий, Pi – вероятность этих событий.
Тем самым мы получаем точное правило для определения объема информации, содержащейся в сведениях и сообщениях.
Алфавитный подход к измерению информации позволяет определить количество информации, заключенной в тексте. Алфавитный подход является объективным, т.е. он не зависит от субъекта (человека), воспринимающего текст.
Множество символов, используемых при записи текста, называется алфавитом. Полное количество символов в алфавите называется мощностью (размером) алфавита. Будем обозначать эту величину буквой N. Например, мощность алфавита из русских букв и дополнительных символов равна 54.
Представьте себе, что текст к вам поступает последовательно, по одному знаку, словно бумажная ленточка, выползающая из телеграфного аппарата. Предположим, что каждый появляющийся на ленте символ с одинаковой вероятностью может быть любым символом алфавита. (В действительности это не совсем так, но для упрощения примем такое предположение.)
Вот сколько информации несет один символ в русском тексте! А теперь для того, чтобы найти количество информации во всем тексте, нужно посчитать число символов в нем и умножить на i.
Возьмем с книжной полки какую-нибудь книгу и посчитаем количество информации на одной ее странице. Пусть страница содержит 50 строк. В каждой строке — 60 символов. Значит, на странице умещается 50*60 = 3000 знаков. Тогда объем информации будет равен: 5,755 х 3000 = 17265 бит.
Следовательно, при алфавитном подходе к измерению информации количество информации от содержания не зависит. Количество информации зависит от объема текста (то есть от числа знаков в тексте) и от мощности алфавита.
Информация о работе Вероятностный подход к измерению информации