мірою інформації з К.Шеннона:
[біт/повідом], (7)
де log - тут і далі позначає двійковий логарифм; - ймовірність ланцюжка, наприклад, емпірична або теоретична.
Зазначимо, що кількість інформації не залежить від якісного змісту повідомлення (ланцюжки), зокрема від ступеня його важливості для одержувача, можливих наслідків його передачі і т.д. Кількість інформації, що міститься у повідомленні, є логарифмічна функція від імовірності. Кількість інформації в достовірному подію дорівнює нулю, а кількість інформації в неможливому подію (що має ймовірність = 0) дорівнює нескінченності. Звідси можна зробити висновок, що чим менша ймовірність повідомлення (ланцюжки), тим більшу кількість інформації воно містить. Розрахунок теоретичної та емпіричної ймовірностей появи ланцюжків символів у повідомленні наведено у таблиці. p> Таблиця 1.2.1 - Теоретична і емпірична ймовірності появи ланцюжків символів у повідомленні
Ланцюжок I (ланцюжок), [біт/повідом] CA 0,16080,10003,3219 BBC 0,02530,02335,4252 ABBC 0,02540,00388,0371
1.3 Обчислення безумовної та умовної ентропії джерела
Оскільки повідомлення випадкові, то і кількість інформації є випадковою величиною. Для того щоб охарактеризувати джерело більш повно використовують середню міру, звану ентропією. Звідси, ентропія - це математичне сподівання по приватних кількостей інформації повідомлень, що генеруються джерелом. Безумовна ентропія джерела обчислюється за формулою
[біт/повідом.] (8)
У дану формулу підставляються значення апріорних ймовірностей появи окремих символів, обчислених у пункті 1. Зазначимо, що формула (8) не враховує статистичний зв'язок між символами, тому така ентропія називається безумовною. p> Ентропія є показником середньої апріорної невизначеності при виборі чергового символу з джерела. Вираз (8) можна розглядати, як міру невизначеності (ентропії) стану джерела, заданого своїми безумовними ймовірностями. p> З виразу (8) випливає, що ентропія джерела дорівнює нулю тоді і тільки тоді, коли одна з ймовірностей дорівнює одиниці, а решта ймовірності відповідно рівні нулю, тобто коли має місце повної визначеності вибору.
З іншого боку, легко показати, що найбільша невизначеність вибору при заданому обсязі алфавіту K відповідає ситуації, коли апріорні ймовірності всіх виборів рівні між собою. У цьому випадку ентропія дорівнює
, [біт/повідом]. (9)
Між значеннями величин ентропій, обчисленими за формулами (8) і (9), має дотримуватися очевидне умова
(10)
Облік статистичних зв'язків між символами, послідовно обираних джерелом веде до подальшого зменшення ентропії, обу...
