рифмічна функція від імовірності. Кількість інформації в достовірному подію (що має ймовірність=1) дорівнює нулю, а кількість інформації в неможливому подію (що має ймовірність=0) дорівнює нескінченності. Звідси можна зробити висновок, що чим менша ймовірність повідомлення (ланцюжки), тим більшу кількість інформації воно містить.
3. Обчислення безумовної та умовної ентропії джерела
Оскільки повідомлення випадкові, то і кількість інформації є випадковою величиною. Для того щоб охарактеризувати джерело більш повно використовують середню міру, звану ентропією. Звідси, ентропія - це математичне очікування по приватним кількостям інформації повідомлень, що генеруються джерелом. Безумовна ентропія джерела обчислюється за формулою:
Якщо найбільша невизначеність вибору при заданому обсязі алфавіту K відповідає ситуації, коли апріорні ймовірності всіх виборів рівні між собою. У цьому випадку ентропія дорівнює:
Між значеннями величин ентропій має дотримуватися умова:
Облік статистичних зв'язків між символами, послідовно обираних джерелом веде до подальшого зменшення ентропії. Насправді, чим більше імовірнісні зв'язку символів, тим менше свобода вибору подальших символів, тим менше в середньому інформації припадає на кожен знову обираний символ джерела і тим менше ентропія. Ентропія, що враховує статистичну залежність між символами, називається умовною і знаходиться за формулою:
Де
- умовна приватна ентропія, що обчислюється для кожного символу a i.
Між умовної ентропією і безумовної повинне дотримуватися нерівність:
У порівнянні з безумовною ентропією, умовна ентропія враховує більш тонку структуру імовірнісних властивостей джерела, тому, є більш точною характеристикою джерела.
Наявність в повідомленні більшого числа букв або в кодової комбінації більшого числа елементів, ніж це мінімально необхідно для передачі міститься в них кількості інформації, називають надмірністю. Розрахунок надмірності проводиться за формулою:
Продуктивність джерела - це середня кількість інформації, створюваної джерелом в одиницю часу:
де - середня тривалість одного символу, що видається джерелом.
4. Статистичне двійкове кодування джерела
Статистичне (або ефективне) кодування використовується для істотного зменшення надмірності повідомлень, обумовленої неравновероятностью і залежністю символів, що виробляються джерелом. Суть статистичного кодування зводиться до кодування символів джерела нерівномірним двійковим кодом за наступним правилом: для часто зустрічаються символів присвоюються короткі двійкові кодові комбінації, а для рідко зустрічаються - довгі кодові комбінації.
Одним з поширених алгоритмів статистичного кодування, є код Хаффмана. Кодування за Хаффману виконується в наступному порядку:
.
