Контрольная работа по "Теории информации"

Министерство образования и  науки Российской федерации

ИРКУТСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ  УНИВЕРСИТЕТ

Заочно-вечерний факультет

 

 

 

 

 

Контрольная работа

 

«Теория информации»

 

 

 

 

 

 

 

Выполнила студент 

Группы АСУбзс-11

Аблец И.В.

Проверил: Носырева Л.Л.

 

 

 

 

 

 

Иркутск

2013

1. Второй закон термодинамики.

Закон сохранения энергии утверждает, что количество энергии при любых  процессах остается неизменным. Но он ничего не говорит о том, какие  энергетические превращения возможны.

Закон сохранения энергии не запрещает, процессы, которые на опыте не происходят:

• нагревание более нагретого тела более холодным;
• самопроизвольное раскачивание маятника из состояния покоя;
• собирание песка в камень и т.д.

Процессы в природе имеют  определенную направленность. В обратном направлении самопроизвольно они протекать не могут. Все процессы в природе необратимы (старение и смерть организмов).

Необратимым процессом может быть назван такой процесс, обратный которому может протекать только как одно из звеньев более сложного процесса. Самопроизвольными называются такие процессы, которые происходят без воздействия внешних тел, а значит, без изменений в этих телах).

Процессы перехода системы из одного состояния в другое, которые можно  провести в обратном направлении  через ту же последовательность промежуточных равновесных состояний, называются обратимыми. При этом сама система и окружающие тела полностью возвращаются к исходному состоянию.

Второй закон термодинамики указывает направление возможных энергетических превращений и тем самым выражает необратимость процессов в природе. Он установлен путем непосредственного обобщения опытных фактов.

Формулировка Р. Клаузиуса: невозможно перевести тепло от более холодной системы к более горячей при отсутствии одновременных изменений в обеих системах или окружающих телах.

Формулировка У. Кельвина: невозможно осуществить такой периодический  процесс, единственным результатом  которого было бы получение работы за счет теплоты, взятой от одного источника.

Невозможен тепловой вечный двигатель второго рода, т.е. двигатель, совершающий механическую работу за счет охлаждения какого-либо одного тела.

Объяснение необратимости процессов  в природе имеет статистическое (вероятностное) истолкование.

Чисто механические процессы (без учета  трения) обратимы, т.е. инвариантны (не изменяются) при замене t® -t. Уравнения движения каждой отдельно взятой молекулы также инвариантны относительно преобразования времени, т.к. содержат только силы, зависящие от  расстояния. Значит причина необратимости процессов в природе в том, что макроскопические тела содержат очень большое количество частиц.

Макроскопическое  состояние характеризуется несколькими  термодинамическими параметрами (давление, объем, температура и т.д.). Микроскопическое состояние характеризуется заданием координат и скоростей (импульсов) всех частиц, составляющих систему. Одно макроскопическое состояние может быть реализовано огромным числом микросостояний.

Обозначим: N- полное число состояний системы, N₁ - число микросостояний, которые реализуют данное состояние, w - вероятность данного состояния.

Тогда : 

Чем больше N₁, тем больше вероятность данного микросостояния, т.е. тем большее время система будет находиться в этом состоянии. Эволюция системы происходит в направлении от маловероятных состояний к более вероятным.  Т.к. механическое движение - это упорядоченное движение, а тепловое - хаотическое, то механическая энергия переходит в тепловую. При теплообмене состояние, в котором одно тело имеет более высокую температуру (молекулы имеют более высокую среднюю кинетическую энергию), менее вероятно, чем состояние, в котором температуры равны. Поэтому процесс теплообмена происходит в сторону выравнивания температур.

Энтропия - мера беспорядка. S - энтропия.

Уравнение Больцмана: 

где k - постоянная Больцмана. Это уравнение раскрывает статистический смысл законов термодинамики. Величина энтропии во всех необратимых процессах увеличивается. С этой точки зрения жизнь - это постоянная борьба за уменьшение энтропии. Энтропия связана с информацией, т.к. информация приводит к порядку (много будешь знать - скоро состаришься).

Энтропия - функция состояния системы. В  термодинамике - это величина, определяемая соотношением:

где S- энтропия. Т.е. изменение энтропии равно количеству теплоты, переданному  в процессе, к температуре, при  которой происходил этот процесс.

В этом смысле адиабатный процесс - это  изоэнтропийный процесс.

Из первого закона термодинамики:

- основное уравнение термодинамики.

Из теоремы Карно следует:

Следовательно: или  ∆S≤0

 

2. Докажите свойство энтропии: «Энтропия есть величина вещественная, ограниченная и неотрицательная:    Н≥0».

 

Энтропия является непрерывной функцией от вероятностей появления символов и обладает следующими свойствами:

• Энтропия источника дискретных сообщений есть величина вещественная, ограниченная и неотрицательная.
• Энтропия равна нулю, если с вероятностью единица выбирается один и тот же символ (неопределенность в поведении источника отсутствует).
• Энтропия максимальна, если все символы источника появляются независимо и с одинаковой вероятностью:

H_max=mPlogP=m(1/m)log(1/m)=logm

 

Если символы являются взаимосвязанными (коррелированными друг с другом), то используется понятие условной энтропии

Где  P(a`_j/a_i) словная вероятность появления символа  a_j после символа a_i.

Буква	Р	Разряды								Код
		1	2	3	4	5	6	7	8
а1	0,21	0	-	-	-	-	-	-	-	0
а2	0,18	1	0	-	-	-	-	-	-	10
а3	0,17		1	0	-	-	-	-	-	110
а4	0,16			1	0	-	-	-	-	1110
а5	0,13				1	0	-	-	-	11110
а6	0,11					1	0	-	-	111110
а7	0,02						1	0	-	1111110
а8	0,02							1	1	11111110

3. Определить количество  информации, содержащееся в изображении,  при условии, что последнее разлагается на 625 строк по 840 элементов в каждой строке. Яркость каждого элемента передается восемью квантованными уровнями.

 

Решение: Обозначим случайной величиной X яркость одного элемента изображения. По условию задачи все 8 градаций яркости одинаково вероятны, т.е. p(x_j)=1/n, где n = 8 и, следовательно, собственная информация одного элемента для любого j по формуле

I(x)=log₂n.

Изображение содержит N=625⋅840=525⋅10³ элементов.

Так как яркости элементов независимы, то по свойству аддитивности информации

Nlog₂n=525⋅10³⋅3=1575⋅10³.

 

 

4.  Определите энтропию (неопределенность) системы, состояние  которой описывается случайной  величиной Х с рядом распределения

X=	X1	X2	X3	X4	X5
	0,26	0,15	0,34	0,2	0,05

 

Решение:

H(X)=n(0,26)+n(0,15)+n(0,34)+n(0,2)+n(0,05)

По таблице находим:

H(X)=0,5053+0,4105+0,5292+0,4644+0,2161=2,1255

 

 

5. По некоторому каналу связи передаются сообщения. Алфавит первичного языка состоит из четырех букв xi, вероятности появления которых равны

X	1	2	3	4
P(X)	0,1	0,4	0,25	0,25

 

В канале связи при передаче возникают  помехи.

Канал связи описан следующей канальной  матрицей:

P(Y/X)=	0,2	0,3	0,1	0,4
	0,1	0,3	0,1	0,5
	0,4	0,3	0,2	0,1
	0,3	0,1	0,6	0

Вычислите среднее количество информации, которое переносится одним символом сообщения, если Чему равны информационные потери при передаче сообщения из 100 символов алфавита a, b, c, d? Чему равно количество принятой информации?

6. Закодировать методом  Шеннона-Фано алфавит, состоящий  из восьми букв, вероятности появления  которых равны P= 0,02; 0,11; 0,13; 0,16; 0,17; 0,18; 0,02; 0,21. Найти эффективность полученного кода.

Определим, какова эффективность полученного  кода. Для этого подсчитаем среднее  число символов, приходящихся на букву: 

1*0,21+2*0,18+3*0,17+4*0,16+5*0,13+6*0,11+7*0,02+8*0,02=3,33 бит

7. Пусть алфавит А  содержит 6 букв, вероятности которых  равны 0,4; 0,2; 0,2; 0,1; 0,05 и 0,05. Произведите  кодирование кодом Хаффмана. Вычислить  энтропию сообщений Н(Х) и среднюю  длину кодового слова.

 

 

№ буквы	вероят-ность	разбиение на подгруппы (римские цифры  обозначают номера групп и подгрупп)					кодовое обозначение
1	0,4	} I					1
2	0,2	} II	} I				01
3	0,2		} II	} I			001
4	0,1			} II	} I		0001
5	0,05				} II	} I	00001
6	0,05					} II	00000

среднее число элементарных сигналов, приходящихся на одну букву сообщения, равно

Это значение заметно меньше, чем 3, и не очень далеко от энтропии

 

 

 

 

8. Закодировать  в циклическом коде число 21.

Решение:

21₍₁₀₎=10101₍₂₎

 

01011

↓

10110

↓

01101

↓

11010

↓

10101

 

 

9. Закодировать инверсным  кодом число 661₍₁₀₎

Решение:

661₍₁₀₎= 1010010101₍₂₎=0101101010_(ок)