fy"> 0,004
Потім будується кодове дерево, в процесі якого здійснюється кодування: верхня точка дерева дорівнює одиниці; з неї направляється дві гілки, причому гілки з більшою ймовірністю приписується значення В«1В», а з меншою - В«0В». Таке послідовне розгалуження продовжується до тих пір, поки не домагаються ймовірності кожної літери. Кодове дерево представлено на малюнку 3.1. br/>В
Малюнок 3.1
Потім рухаючись по кодовому дереву зверху вниз, записуємо для кожної букви відповідну їй кодову комбінацію. Результат представлений в таблиці 9. br/>
Таблиця 9
a 1 11a 2 101a 3 000a 4 01a 5 100010a 6 1000110a 7 1000111a 8 10010a 9 10000a 10 001a 11 100110a 12 100111
Виберемо з ансамблю повідомлень {a i } довільну комбінацію з п'яти символів і закодуємо їх отриманим кодом Фано:
a 4 a 6 a 8 a 10 a 12
Потенційний мінімум будемо шукати за формулою (2.3) лекції
В
Так як код є двійковим, то підстава коду. Звідси випливає:
В
Тоді потенційний мінімум буде дорівнювати ентропії джерела:
В
Знайдемо ентропію джерела, користуючись теоремою Шеннона:
В
Підставивши в цю формулу задані значення, отримаємо:
В
Підставивши отримане значення в формулу для обчислення потенційного мінімуму, отримаємо:
В
Розрахуємо середню кількість символів, що припадають на одне повідомлення, за формулою (2.9) лекції:
В
де Ps - ймовірність появи події;
m - кількість символів в коді.
Кількість символів в коді представлено в таблиці 10.
Таблиця 10
СообщеніеВероятность події P s Кількість символів в к...
