значення, что задається (1.3-12), путем Вибори підходящої матриці Q (або) за умови виконан Наступний обмежень
,
и
Формули (1.3-26) і (1.3-27) віражають основні Властивості матриці каналу: ее елементи повінні буті невід ємнімі І, оскількі будь-якому вхідному символу винен ВІДПОВІДАТИ Якийсь вихід, сума елементів по будь-якому стовпцю матриці винна буті рівна 1. Рівняння (1.3-28) показує, что Мінімальна ШВИДКІСТЬ досягається при максимально допустимому спотворенні. Приклад 1.9. Обчислення швідкості як Функції спотворення для двійкового джерела без пам яті.
Розглянемо двійковій джерело без пам'яті з рівноімовірнімі символами джерела {0, 1} и простою мірою спотворення
де - одінічна дельта-функція. Оскількі если і 0 в других випадка, шкірну помилка кодування-декодування вважається за одну одиницю спотворення. Для знаходження может буті Використано варіаційне числення, а самє метод Лагранжа знаходження Умовний екстремум. Розглянемо функцію Лагранжа
яка додатково покладів від множніків Лагранжа,, ...,. Прірівняємо ее Похідні по зміннім до нуля (тобто=0), и вірішімо систему, что складається з отриманий рівнянь вместе с рівняннямі зв'язків (1.3-27) і (1.3-28), для невідоміх І,, ...,. Если отрімані значення не негатівні, тобто задовольняють (1.3-26), це означає, что | Полтава вірне решение. Для певної вищє парі джерела и спотворення, отрімаємо следующие 7 рівнянь (з 7-ма невідомімі)
Послідовність алгебраїчніх перетвореності приводити до Наступний результатів:
так что
Оскількі Було задано, что символи джерела рівноймовірно, то максимально можливе спотворення дорівнює 1/2. Таким чином и елементи матриці Q відповідають (1.3-12) для всіх D.
Взаємна інформація, пов'язана з Q и Ранее визначеня двійковім ДЖЕРЕЛО, обчіслюється з використанн (1.3-12). Відповідно помітів схожість матриці Q и матриці двійкового симетричного каналу, можна відразу Написати:
.
Це віпліває з результату приклада 1.6 при підстановці=1/2 и в вирази. ШВИДКІСТЬ як функція спотворення может буті ОТРИМАНО прямо з (1.3-25)
.
Last Спрощення засновання на того обставинні, что для заданого D різніцю пріймає єдине значення, за замовчуванням є мінімумом. Результуюча функція показана графічно на Рис. 1.10; ця форма типова для більшості графіків швідкості як Функції спотворення. Відзначімо точку максимуму D, Позначення, таку, что для всіх. Крім того, всегда позитивна, монотонно убіває, и опукла вниз на відрізку (0,).
Для простих джерел и ЗАХОДІВ спотворення, ШВИДКІСТЬ як функція спотворення может буті Обчислено аналітично, як и в попередня прікладі. Більше того, коли аналітичні методи не Працюють, то могут використовуват сходяться ітератівні алгоритми, зручні для чісельної реализации на комп'ютерах.
Рис. 1.10 ШВИДКІСТЬ як функція спотворення для двійкового симетричного джерела
После того, як обчислено на, теорема кодування джерела стверджує, что для будь-которого існує такий код довжина r и швідкості, что Середнє спотворення на символ задовольняє умові. Важлива практичний наслідок даної теореми и теореми кодування для каналу з шумом Полягає в тому, что вихід джерела может буті відновленій декодером з довільно малою ймовірністю помилки, за умови, что канал має пропускну спроможність. Цей Последний результат відомій як теорема про передачу информации.
1.3.4 ЗАСТОСУВАННЯ Теорії информации
Теорія информации надає основні засоби, необхідні для прямого представлення та кількісної ОБРОБКИ информации. У даного розділі розглядається! Застосування ціх ЗАСОБІВ у конкретних завдань стиснения збережений. Оскількі фундаментальна ПОСИЛАННЯ Теорії информации Полягає в тому, что формирование информации может буті представлено у виде імовірнісного процесса, в Першу Черга буде Розглянуто статистична модель процесса формирование зображення.
Приклад 1.10. Обчислення ентропії зображення.
Розглянемо питання оцінювання інформаційного змісту (тобто ентропії) простого 8-бітового зображення:
21 21 95 169 243 243 243
21 21 95 169 243 243 243
21 21 95 169 243 243 243
21 21 95 169 243 243 243
Один відносно простий ПІДХІД Полягає в тому, что можна пріпустіті Деяк конкретну модель джерела и обчісліті ентропію зображення, базуючісь на Цій моделі. Например...
