Застосування штрих-коду для кодування інформації

Можуть зустрiтися повiдомлення, що хоча i утворюють статистичну  рiзноманiтнiсть, але не володiючi iмовiрнiстю  внаслiдок нестационарностi випадкового  механiзму. Наприклад, якщо ми пiдкидуємо абсолютно тверду монету, то випадковий механiзм випадання орла або решки стацiонарний, i обидва повiдомлення - випадання орла або решки - володiють iмовiрнiстю, що в цьому випадку рiвна половинi. Якщо же ми будемо пiдкидувати м'яку монету, то випадання орла або решки також буде випадковою подiєю. Однак випадковий механiзм вже не буде стацiонарний внаслiдок деформацiї монети. При цьому частота випадення, наприклад орла (або решки), зi збiльшенням числа кидання не буде прагнути до певної межi. Значить, з таким випадковим процесом не можна зв'язати поняття iмовiрностi (тут не дiє закон великих чисел). Отже, такi подiї (повiдомлення) не володiють iнформацiєю в сенсi (1.14).

Ця обставина має  цiлком ясний фiзичний зміст: якщо в  основi появи повiдомленнi на входi деякого  каналу зв'язку не лежить стацiонарний випадковий механiзм, тобто для них не iснує поняття iмовiрностi, то випадковiсть такого типу не може бути нiяк завбачена, i для таких повiдомлень заздалегiдь неможливо побудувати оптимальний канал зв'язку.

Коли ми говоримо про  оптимальнiсть, то маємо на увазi погодження пропускної спроможностi каналу з кiлькiстю iнформацiї, укладеною в повiдомленнях, що надходять на вхiд канала.

Може виявитися, що нестационарнiсть  випадкового механiзму пiдкоряється певному закону. В цьому випадку iмовiрнiсть появи повiдомлень буде функцiєю часу. Для таких повiдомлень має мiсце поняття власної iнформацiї, що в цьому випадку також буде функцiєю часу.

Нарештi, може трапитися, що з системою повiдомлень можна  зв'язати поняття iмовiрностi i, значить, кожне повiдомлення володiє власною iнформацiєю, але ми не знаємо цих iмовiрностей. В такому випадку ми також спочатку нiчого не можемо сказати про кiлькiсть iнформацiї, що несе в собi те або iнше повiдомлення. I тiльки з течiєю часу, пiсля надходження на вхiд канала достатньо великої кiлькостi повiдомлень, збирається необхiдна статистика, що дозволяє встановити кiлькiсть iнформацiї, зв'язану з кожним повiдомленням.

В технiчному сенсi це означає, що не можна заздалегiдь сконструювати  хорошу систему (принаймнi в планi лiнiї зв'язку). Але ми маємо можливiсть будувати, самонавчальну систему, що адаптується, що з течiєю часу, з'ясовуючи iстинну статистику розподiлу повiдомлень, тобто визначаючи кiлькiсть iнформацiї, зв'язане з тим або iншим повiдомленням, зможе себе змiнювати, покращувати. Наприклад (в граничному випадку), по якому-небуть каналу надходить весь час одне i те ж повiдомлення А. В цьому випадку система визначить, що Р (А)=1 i, отже, I=0. Значить, можна просто запам'ятати це повiдомлення, а канал зв'язку вимкнути. Це i буде простим прикладом адаптацiї.

Другим важливим поняттям є вiдносна iнформацiя одного повiдомлення S_j вiдносно iншого A_i. Сенс цього поняття полягає в тому, що надходження деякого факту (повiдомлення S_j) може змiнити статистичну рiзноманiтнiсть, зв'язану з повiдомленням А_i, i внаслiдок цього власну iнформацiю повiдомлення А_i. Змiна власної iнформацiї повiдомлення A_і, що виникла через надходження повiдомлення S_j, i називається вiдносною iнформацiєю повiдомлення S_j вiдносно A_i.

Нехай iмовiрнiсть повiдомлення А_i до надходження повiдомлення S_j рiвна Р(А_i). Тодi кiлькiсть власної iнформацiї, укладеної в повiдомленя A_i, рiвне

I (A_i) = -log P(A_i).

Iмовiрнiсть повiдомлення А_i, пiсля надходження повiдомлення S_j буде рiвна P_sj(А_i), тобто являє собою умовну iмовiрнiсть A_i за умови, що S_j має мiсце. При цьому кiлькiсть iнформацiї, що мiститься в надходженнi повiдомлення A_i, рiвна

I (A_i/S_j) = - log Ps_j(A_i).

Тодi по визначенню iнформацiя, що мiститься  в S_j вiдносно А_i, рiвна змiнi (зменшенню) власної iнформацiї повiдомлення A_i:

Is_j(A_i) = I(A_i) - I(A_i/S_j) = - log P(A_i)+ log Ps_j(A_i) = log(Ps_j(A_i)/P(A_i)).   (1.17)

Це нове поняття вiдносної iнформацiї  зв'язане не з iмовiрнiстю повiдомлення S_j, а зi змiстом цього повiдомлення, бо саме конкретний змiст повiдомлення Sj визначає умовну iмовiрнiсть подiї А_i  (Ps_j(A_i)). Таким чином, вiдносна iнформацiя деякого повiдомлення S_j зв'язана саме з його змiстом, а не з його власною рiзноманiтнiстю, якої може i не бути. Таким чином, навiть з окремим повiдомленням, не зв'язаним з поняттям iмовiрностi, можна зв'язати поняття iнформацiї вiдносно iншої рiзноманiтностi, якщо воно цю рiзноманiтнiсть змiнює.

В протилежнiсть власнiй iнформацiї, вiдносна iнформацiя може бути не тiльки позитивною, але i негативною. Якщо Ps_j(A_i) > Р(А_i), то, згiдно (1.17), Is_j(А_i)=0; якщо Ps_j(A_i) < P(A_i), то Is_j(A_i) <0. Нарештi, при Ps_j(A_i)=P(A_i) Is_j(А_i)=0. Останнiй випадок означає, що повiдомлення S_j не змiнює рiзноманiтностi A_i i, отже, не мiстить в собi iнформацiї вiдносно повiдомлення A_i. Повертаючись до основної iнформацiйної мiри, до виразу (1.14), легко бачити, що числова величина його залежить вiд вибору основи логарифмування. Звичайно в теорiї iнформацiї в якостi основи беруть число 2; тодi числова величина кiлькостi iнформацiї, укладеної в деякому повiдомленнi A_i, рiвна

I_i=log₂ Р_i.     (1. 18)

В подальшому викладеннi для спрощення письма ми будемо опускати в записi логарифма iндекс 2, маючи  на увазi, що скрiзь, за винятком спецiально  обумовлених випадкiв, ми будемо мати справу з логарифмом при цiй основi. Припустимо, ми отримали повiдомлення, iмовiрнiсть якого рiвна половинi. Тодi таке повiдомлення володiє кiлькiстю iнформацiї

I_i=log₂ (1/2) =1 двiйкова одиниця = 1бiт.

 Отже, це повiдомлення  володiє однiєю двiйковою одиницею iнформацiї (двiйковою тому, що в якостi основи логарифма прийняте число 2) або, як часто говорять, несе 1 бim iнформацiї (б - bit, binary digit). В якостi дiйкової одиницi iнформацiї, приймається та кiлькiсть iнформацiї, що полягає в повiдомленi про те, що вiдбулися одне з двох рiвноможливих подiй (наприклад, iнформацiя про те, що при даному пiдкидуваннi монети випав герб).

Уявимо собi далi, що деякий дослiд може закiнчитися одним  з чотирьох рiвноможливих наслiдкiв. Тодi повiдомлення про те, що має мiсце  деякий конкретний наслiдок, володiє iмовiрнiстю P_i=^l/₄. Вiдповiдно кiлькiсть iнформацiї в цьому повiдомленнi J = - 1оg(¹/₄)=2 бiт. Якщо ж ситуацiя дослiду настiльки невизначена, що може з'явитися будь-який з 64 рiвноможливих наслiдкiв, то кiлькiсть iнформацiї, укладеної в повiдомлення про деякий конкретний наслiдок, рiвна J = - log(¹/₆₄) = 6 бiт i т. д.

Вже з цих прикладiв  видно, що кiлькiсть iнформацiї в даному конкретному повiдомленнi тим бiльша, чим бiльша невизначенiсть ситуацiї. Як побачимо нижче, iснує дуже тiсний зв'язок мiж iнформацiєю i невизначенiстю, i що кiлькiсть власної iнформацiї може служити мiрою невизначеностi ситуацiї.

На кiнець розглянемо приклад. По каналу зв'язку передається  пятизначне двiйкове число так, що в кожному розрядi може стояти цифра 0 або 1 з рiвною iмовiрнiстю, i поява тiєї або iншої цифри в даному розрядi не залежить вiд цифр що стоять в iнших розрядах. Визначимо, яка кiлькiсть iнформацiї мiститься в деякому числi ,що передається. Нехай для визначеностi дано число ,що передає значення 10110. Тодi iмовiрнiсть появи даного числа A_i = Р_i = (¹/₂)⁵ (згiдно теоремi множення iмовiрностей). Легко бачити, що будь-яке число ,що передається володiє тiєю ж iмовiрнiстю. Тодi кiлькiсть iнформацiї, укладена в кожне число ,що передається, рiвна

I = - log P_i = - log (¹/₂)⁵= 5 бiт.

Вiдповiдно при передачi n-розрядного двiйкового числа, кiлькiсть iнформацiї на повiдомлення рiвна I = n бiт.

З прикладу видно, що при  двiйковому кодуваннi повiдомлень  дуже зручно застосовувати при обчисленнi кiлькостi iнформацiї логарифм з основою два.

 

1. Iнформацiйна ентропія

 

До цих пiр ми розглядали кiлькiсть власної iнформацiї, що мiститься  в даному конкретному повiдомленнi A_i, i для нього ввели мiру iнформацiї (1. 14) I_i = - log P_i. Уявимо собi тепер, що в результатi проведення деякого дослiду можливi k рiзноманiтних повiдомлень (результатiв дослiду А₁, А₂, ..., A_k). Цей дослiд ми повторюємо велике число раз (n), наприклад n раз передаємо повiдомлення з даної вхiдної системи, i нехай з цих повiдомлень (результатiв) А₁ повторюється m₁ раз, А₂ повторюється m₂ раз i т. д. Крiм того, нехай iмовiрностi повiдомлень А₁, А₂, ..., A_k вiдповiдно рiвнi Р₁, P₂, ..., Р_k. Тодi середня власна iнформацiя на одне повiдомлення буде рiвна сумi iнформацiї, подiлленої на кiлькiсть повiдомлень ,що передаються, або середня власна iнформацiя на одне повiдомлення рiвна

(- m₁ logP₁ - m₂ logP₂ - ...  -m_k logP_k)/n.

  Очевидно, межа цього  вираження при n®¥ рiвна

           _k 

H = - S P_i log P_i ,      (1. 19)

           ¹

бо в вiдповiдностi з законом великих чисел

 при n®¥ lim (m_i/n)=P_i.

Вираз (1.19) являє собою середню  власну iнформацiю на одне повiдомлення (на один результат дослiду) i називається iнформацiйною ентропiєю ситуацiї (дослiду) або просто ентропією. Поняття ентропiї надзвичайно важливе в теорiї iнформацiї, i щоб яснiше уявити фiзичний сенс цiєї величини, розглянемо деякi властивостi ентропiї.

1. Ентропiя завжди додатня

Н ³ 0.        (1. 20)

Дiйсно, 0 £ P_i £ 1, тому log P_i£0, тобто величина вiдємна. Отже, враховуючи знак мiнус в виразi (1. 19), кожний член цiєї суми буде додатнiм, а отже, i вся сума додатня.

2. Ентропiя рiвна нулю в тому i тiльки в тому випадку, якщо iмовiрнiсть одного з результатiв  рiвна одиницi, а отже, iмовiрностi  всiх iнших результатiв рiвнi нулю (нагадаємо, що P₁+P₂+... +P_k=1). Iншими словами, ентропiя рiвна нулю, тодi коли ситуацiя повнiстю визначена, тобто результат дослiду заздалегiдь передбачено.

Дiйсно, вираз (1. 19) являє собою суму додатніх величин, тому ця сума може бути рiвна нулю тiльки в тому випадку, коли кожний з її членiв Р log P рiвний нулю. Вираз Р logР рiвний нулю або при Р=1 (що очевидно, бо при Р=1 логарифм Р рiвний 0), або при Р=0. В останньому випадку має мiсце невизначенiсть, i щоб її розкрити, запишемо вираз Р logР в виглядi

PlogP= (logP)/(1/P).

   Границя цього виразу  рiвна межi вiдношення похiдної  числiвника до похiдної знаменника

Але тiльки один результат дослiду може володiти iмовiрнiстю, рiвною одиницi, i при цьому всi iншi результатi володiють iмовiрнiстю, рiвною нулевi, тому сума (1. 19) рiвна нулю тiльки в цьому випадку i наше твердження доведене.

3. Ентропiя максимальна тодi i тiльки  тодi, коли всi результати ситуацiї  (дослiду) рiвноможливi. Припустимо, що  наша ситуацiя може мати k результатов i всi вони рiвноможливi. Тодi Р₁ = Р₂.. = Р_k = ¹/_k, оскiльки Р₁+P₂+...+Р_k=1. При цьому значення ентропiї в вiдповiдностi з (1. 19) буде рiвне

H_max=log k .      (1. 21)

Покажемо тепер, що ентропiя завжди менша або рiвна виразу (1. 21). Для цього складемо рiзницю

              _k

H - log k = - S P_i log P_i - log k =

         ¹

                               _{k                   k                     k}

= - S P_i log P_i - S P_i log k = - S P_i log 1/P_i ,

                              ^{1                   1                      1}

                     _k

оскiльки  S P_i =1.

                 ¹

   Скористаємось  далi наступною  властивiстю  логарифмiчної функцiї: для будь-якого  значення аргументу w має мiсце  нерiвнiсть

ln w £ w-1.    (1. 23)

Нерiвнiсть (1. 23) (в лiвiй  частинi стоїть натуральний логарифм) очевидно з рис. 5. Знак рiвностi має  мiсце при значеннi w=1. Якщо в правій частинi (1. 22) величину 1/Р_ik позначимо через w i приймемо до уваги, що

log w = ln w  log e,

 то можна до кожного члена суми (1. 22) застосувати нерiвнiсть (1. 23). Тодi отримаємо

 

Оскiльки

то

H - log k £ 0       (1.24)

Таким чином, ентропiя  завжди менша або рiвна величинi log k (1.22), причому знак рiвностi має мiсце при w=1, тобто при 1/P_ik=1, або при всiх P_i=¹/_k, що означає рiвноможливiсть всiх результатiв дослiду.

З другої i третьої властивостей слiдує, що ентропiя рiвна нулю, коли ситуацiя повнiстю визначена, тобто  результат дослiду заздалегiдь передбачено, i максимальна при найбiльшiй невизначенностi ситуацiї, коли всi можливi результатi дослiду рiвноможливi. Таким чином, ентропiя в принципі є мiрою невизначеностi ситуацiї i вона тим бiльша, чим бiльша ця невизначенiсть.

Всяке впорядкування  ситуацiї, збiльшення її визначенностi зменшує ентропiю. Отже, вираз (1. 19), з одного боку, являє собою середню iнформацiю, яку можна очiкувати вiд повiдомлення в даних умовах, а з iншого, його можна розглядати, як мiру невизначеностi ситуацiї. Цi двi сторони, звичайно, зв'язанi мiж собою. Справдi, чим бiльш невизначена ситуацiя, тим бiльша iнформацiя буде полягати в кожному повiдомленнi про який-небуть конкретний результат. Часто в результатi деякого дослiду ми одержуємо деяку кiлькiсну величину х, що може приймати будь-яке значення в заданому iнтервалi. В цьому випадку результатом дослiду є безперервна випадкова величина, що володiє деяким законом розподiлу p (x) (рис. 6).

 рис.5       рис.6

Отже, тут ми маємо  дiло з нескiнченним числом можливих результатов i значить з нескiнченним числом можливих повiдомлень. Для такої ситуацiї по аналогiї з виразом (1.19) вводиться поняття ентропiї безперервного розподiлу

_+¥

-ò p(x) log p(x) dx               (1. 25)

 ^-¥