мовленою формулою (8), що не враховує цього зв'язку. Насправді, чим більше ймовірні зв'язки символів, тим менше свобода вибору наступних символів, тим менше в середньому інформації припадає на кожен знову обираний символ джерела і тим менше ентропія. Ентропія, враховує статистичну залежність між символами, називається умовною і знаходиться за формулою
[біт/повідом], (11)
де (12)
умовна приватна ентропія, що обчислюється для кожного символу. Для розрахунку умовної ентропії за формулами (11), (12) необхідно використовувати перехідні ймовірності, знайдені раніше у пункті 1.2 Курсави роботи. p> Як випливає з вищесказаного, між умовним ентропією (11) і безумовної ентропією має дотримуватися нерівність
. (13)
Порівняно з безумовною ентропією, умовна ентропія враховує більш тонку структуру імовірнісних властивостей джерела, тому, є більш точною характеристикою джерела. Надалі, усюди, кажучи про ентропії, будемо мати на увазі умовну ентропію. p> Для розглянутого варіанта завдання розрахунки за формулами (8) - (12) мають вигляд:
біт/повідом,
біт/повідом,
біт/повідом,
біт/повідом,
біт/повідом,
біт/повідом.
Наявність в повідомленні більшого числа літер або в кодової комбінації більшого числа елементів, ніж це мінімально необхідно для передачі міститься в них кількості інформації, називають надмірністю. Розрахунок надмірності проводиться за формулою:
(14)
Наступною, що розраховується в курсовій роботі, характеристикою джерела є продуктивність джерела, під якою розуміють середню кількість інформації, створюваної джерелом в одиницю часу:
[біт/с], (15)
де (16)
середня тривалість одного символу, що видається джерелом.
Для розглянутого варіанта завдання розрахунки за формулами (14) - (16) мають вигляд:
,
мс,
біт/с.
.4 Статистичне двійкове кодування джерела
Статистичне (або ефективне) кодування використовується для виключення, точніше істотного зменшення надмірності повідомлень, зумовленої неравновероятностью і залежністю символів, що виробляються джерелом. Суть статистичного кодування зводиться до кодування символів джерела нерівномірним двійковим кодом за наступним правилом: для часто зустрічаються символів присвоюються короткі двійкові кодові комбінації, а для рідко зустрічаються - довгі кодові комбінації. p align="justify"> Одним із широко використовуваних на практиці алгоритмів статистичного кодування, наприклад, в програмах-архіваторах комп'ютерних файлів, є код Шеннона-Фано. Кодування за методом Шеннона-Фано складається з наступних етапів:
) Підлягають кодуванню символи алфавіту джерела дискретних повідомлень розташовують у першому стовпчику таблиці в порядку убування ймовірностей.
...
