Автор работы: Пользователь скрыл имя, 26 Февраля 2014 в 12:22, реферат
Слово «информация» происходит от латинского – разъяснение, изложение, осведомленность. В течение многих веков понятие информации не раз претерпевало изменения как по содержанию, так и широте, расширяя или предельно сужая свои границы. Сначала под этим словом понимали «представление», «понятие», затем – «сведения», «передачу сообщений».
Несмотря на то, что человеку постоянно приходится иметь дело с информацией (он получает ее с помощью органов чувств), строгого научного определения, что же такое информация, не существует. В тех случаях, когда наука не может дать четкого определения какому-то предмету или явлению, люди пользуются понятиями.
На рисунке 1. показано поведение энтропии для случая двух альтернатив, при изменении соотношения их вероятностей (p, (1-p)).
Максимального значения энтропия достигает в данном случае тогда, когда обе вероятности равны между собой и равны ½, нулевое значение энтропии соответствует случаям (p0=0, p1=1) и (p0=1, p1=0).
Количество информации I и энтропия H характеризуют одну и ту же ситуацию, но с качественно противоположенных сторон. I – это количество информации, которое требуется для снятия неопределенности H. По определению Леона Бриллюэна информация есть отрицательная энтропия (негэнтропия).
Когда неопределенность снята полностью, количество полученной информации I равно изначально существовавшей неопределенности H.
При частичном снятии неопределенности, полученное количество информации и оставшаяся неснятой неопределенность составляют в сумме исходную неопределенность. Ht + It = H.
В общем случае, энтропия H и количество получаемой в результате снятия неопределенности информации I зависят от исходного количества рассматриваемых вариантов N и априорных вероятностей реализации каждого из них P: {p0, p1, …pN-1}, т.е. H=F(N, P). Расчет энтропии в этом случае производится по формуле Шеннона, предложенной им в 1948 году в статье «Математическая теория связи».
В частном случае, когда все варианты равновероятны, остается зависимость только от количества рассматриваемых вариантов, т.е. H=F(N). В этом случае формула Шеннона значительно упрощается и совпадает с формулой Хартли, которая впервые была предложена американским инженером Ральфом Хартли в 1928 году, т.е. на 20 лет раньше.
Формула Шеннона имеет следующий вид:
(1)
Знак минус в формуле (1) не означает, что энтропия – отрицательная величина. Объясняется это тем, что pi £ 1 по определению, а логарифм числа меньшего единицы - величина отрицательная. По свойству логарифма , поэтому эту формулу можно записать и во втором варианте, без минуса перед знаком суммы.
интерпретируется как частное количество информации , получаемое в случае реализации i-ого варианта. Энтропия в формуле Шеннона является средней характеристикой – математическим ожиданием распределения случайной величины {I0, I1, … IN-1}.
Пример расчета энтропии по формуле Шеннона. Пусть в некотором учреждении состав работников распределяется так: ¾ - женщины, ¼ - мужчины. Тогда неопределенность, например, относительно того, кого вы встретите первым, зайдя в учреждение, будет рассчитана рядом действий, показанных в таблице 1.
Таблица 1.
pi |
1/pi |
Ii=log2(1/pi), бит |
pi*log2(1/pi), бит | |
Ж |
3/4 |
4/3 |
log2(4/3)=0,42 |
3/4 * 0,42=0,31 |
М |
1/4 |
4/1 |
log2(4)=2 |
1/4 * 2=0,5 |
å |
1 |
H=0,81 бит |
Если же заранее известно, что мужчин и женщин в учреждении поровну (два равновероятных варианта), то при расчете по той же формуле мы должны получить неопределенность в 1 бит. Проверка этого предположения проведена в таблице 2.
Таблица 2.
pi |
1/pi |
Ii=log2(1/pi), бит |
pi*log2(1/pi), бит | |
Ж |
1/2 |
2 |
log2(2)=1 |
1/2 * 1=1/2 |
М |
1/2 |
2 |
log2(2)=1 |
1/2 * 1=1/2 |
å |
1 |
H=1 бит |
Формула Хартли – частный случай формулы Шеннона для равновероятных альтернатив.
Подставив в формулу (1) вместо pi его (в равновероятном случае не зависящее от i) значение , получим:
,
таким образом, формула Хартли выглядит очень просто:
(2)
Из нее явно следует, что чем больше количество альтернатив (N), тем больше неопределенность (H). Эти величины связаны в формуле (2) не линейно, а через двоичный логарифм. Логарифмирование по основанию 2 и приводит количество вариантов к единицам измерения информации – битам.
Энтропия будет являться целым числом лишь в том случае, если N является степенью числа 2, т.е. если N принадлежит ряду: {1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048…}
Рис. 3. Зависимось энтропии от количества равновероятных вариантов выбора (равнозначных альтернатив).
Для решения обратных задач, когда известна неопределенность (H) или полученное в результате ее снятия количество информации (I) и нужно определить какое количество равновероятных альтернатив соответствует возникновению этой неопределенности, используют обратную формулу Хартли, которая выводится в соответствии с определением логарифма и выглядит еще проще:
(3)
Например, если известно, что в результате определения того, что интересующий нас Коля Иванов живет на втором этаже, было получено 3 бита информации, то количество этажей в доме можно определить по формуле (3), как N = 23 = 8 этажей.
Если же вопрос стоит так: «в доме 8 этажей, какое количество информации мы получили, узнав, что интересующий нас Коля Иванов живет на втором этаже?», нужно воспользоваться формулой (2): I = log2(8) = 3 бита.
До сих пор были приведены формулы для расчета энтропии (неопределенности) H, указывая, что H в них можно заменять на I, потому что количество информации, получаемое при полном снятии неопределенности некоторой ситуации, количественно равно начальной энтропии этой ситуации.
Но неопределенность может быть снята только частично, поэтому количество информации I, получаемой из некоторого сообщения, вычисляется как уменьшение энтропии, произошедшее в результате получения данного сообщения.
(4)
Для равновероятного случая, используя для расчета энтропии формулу Хартли, получим:
(5)
Второе равенство выводится на основании свойств логарифма. Таким образом, в равновероятном случае I зависит от того, во сколько раз изменилось количество рассматриваемых вариантов выбора (рассматриваемое разнообразие).
Исходя из (5) можно вывести следующее:
Если , то - полное снятие неопределенности, количество полученной в сообщении информации равно неопределенности, которая существовала до получения сообщения.
Если , то - неопределенности не изменилась, следовательно, информации получено не было.
Если , то => , если , => . т.е. количество полученной информации будет положительной величиной, если в результате получения сообщения количество рассматриваемых альтернатив уменьшилось, и отрицательной, если увеличилось.
Если количество рассматриваемых альтернатив в результате получения сообщения уменьшилось вдвое, т.е. , то I = log2(2) = 1 бит. Другими словами, получение 1 бита информации исключает из рассмотрения половину равнозначных вариантов.
Р. Эшби осуществил переход от толкования информации как «снятой» неопределенности к «снятой» неразличимости. Он считал, что информация есть там, где имеется (дано или выявляется) разнообразие, неоднородность. В данном случае единицей измерения информации может быть элементарное различие, т.е. различие между двумя объектами в каком-либо одном фиксированном свойстве. Чем больше в некотором объекте отличных друг от друга элементов, тем больше этот объект содержит информации. Информация есть там, где имеется различие хотя бы между двумя элементами. Информации нет, если элементы неразличимы.
В середине 50-х годов, используя материал статистической теории информации, Р. Эшби изложил концепцию разнообразия, согласно которой под разнообразием следует подразумевать характеристику элементов множества, заключающуюся в их несовпадении. Множество, в котором все элементы одинаковы, не имеет “никакого” разнообразия. Все его элементы одного типа (например, последовательность а, а, а…). Множество с таким разнообразием соответствует единичной вероятности выбора элемента. Логарифм единицы – нуль., т.е. какой элемент множества не был бы выбран, он будет одного и того же типа. Суть концепции разнообразия, заключается в утверждении, что теория информации изучает процессы “передачи разнообразия” по каналам связи, причем “информация не может передаваться в большем количестве, чем это позволяет количество разнообразия”.
Исходя из идей основоположника кибернетики Н. Винера и результатов, полученных К. Шенноном, Эшби сформулировал закон, названный законом необходимого разнообразия, который так же, как закон Шеннона для процессов связи, может быть общим для процессов управления.
Слово «информация» латинское. За долгую жизнь его значение претерпевало эволюции, то расширяя, то предельно сужая свои границы. Вначале под словом «информация» подразумевали: «представление», «понятие», затем – «сведения», «передача сообщений»
В последние годы ученые решили, что обычное значение слова «информация» слишком эластично, расплывчато, и дали ему такое значение: «мера определенности в сообщении».
Теорию информации вызвали к жизни потребности практики. Ее возникновение связывают с работой Клода Шеннона «Математическая теория связи», изданной в 1946г. Основы теории информации опираются на результаты, полученные многими учеными. Ко второй половине XX века земной шар гудел от передающейся информации, бегущей по телефонным и телеграфным кабелям и радиоканалам. Позже появились электронные вычислительные машины – переработчики информации. А для того времени основной задачей теории информации являлось, прежде всего, повышение эффективности функционирования систем связи.
С этих точек зрения система может быть самой совершенной и экономичной. Но важно еще при создании передающих систем обратить внимание на то, какое количество информации пройдет через эту передающую систему. Ведь информацию можно измерить количественно, подсчитать. И поступают при подобных вычислениях самым обычным путем: абстрагируются от смысла сообщения, как отрешаются от конкретности в привычных всем нам арифметических действиях.