формулювання вірішального правила, оптімізуючого ймовірність правильного декодування. У попередня прікладі, повторення шкірного символу джерела трьох разї еквівалентно кодування нерозшірення двійкового джерела, вікорістовуючого лишь дві з=8 можливіть кодів слів. Два допустимих кодом - це 000 и 111. Если на декодер Надходить Якийсь Інший (неприпустимість) код, то вихід візначається голосуванням по більшості з трьох кодів бітів. Джерело информации без пам'яті породжує інформацію зі швідкістю (в Одиниця информации на символ), рівної ентропії джерела. У разі n-кратного Розширення, джерело створює інформацію зі швідкістю одиниць информации на символ. Если інформація кодується так, як у попередня прікладі, то максимальна ШВИДКІСТЬ кодованої информации дорівнює, и вона досягається у випадка, коли всі Допустимі кодові слова рівноймовірні. У такому випадка говорять, что код розміру и довжина блоку має ШВИДКІСТЬ кодом одиниць информации на символ.
Друга теорема Шеннона [Shаппоп, 1948], такоже назівається теореми кодування для каналу з шумом, підтверджує наступна. Для будь-которого, де C є Пропускна здатність каналу без пам'яті, існує код довжина r, де r-ціле, має ШВИДКІСТЬ R, таку, что ймовірність помилки блокового декодування НЕ перевіщує будь-которого наперед заданого з інтервалом. Таким чином, імовірність помилки можна сделать як завгодно малою, за умови, что ШВИДКІСТЬ кодів повідомлень менше або дорівнює пропускної здатності каналу.
Теорема кодування джерела (про Взаємозв'язок швідкості и спотворення)
теореми, розглянуті до справжнього моменту, встановлюють фундаментальні Межі безпомілкової зв язку як по надійнім, так и по ненадійнім каналам. У даного розділі ми повернемося до випадка каналу без помилок, но в цілому процес передачі информации может буті не точна. Головня Завдання системи зв язку в такий послідовності є «стиснения информации», можливо, за рахунок Деяк ее спотворення. У більшості віпадків середня помилка, якові вносити стиснения, обмежується Деяк Максимально допустима рівнем D. Мі Хочемо найти найменша допустима ШВИДКІСТЬ як функцію заданого крітерію точності, при Якій інформація может буті передана від джерела до одержувача. Вірішенням цієї конкретної проблеми займається розділ Теорії информации, назівається теорія взаємозв'язку швідкості та спотворення.
Нехай джерело информации и вихід декодера на Рис. 1.9 візначені кінцевімі ансамблями (А, z) і (В, z) відповідно. Пріпускається, что канал на Рис. 1.9 є каналом без помилок, так что матриця каналу Q, Яка пов язує z з v согласно (1.3-6), может розглядатіся як визначальності только сам процес кодування-декодування. Оскількі процес кодування-декодування є детермінованім, опісує Деяк ідеальний канал без пам яті, что імітує ефект стиснения и Відновлення информации. Всякий раз, коли джерело породжує вихідний символ, Последний представляється Деяк кодів символом, Який в результате декодується у вихідний символ з імовірністю (дів. Розділ 1.3.2).
Постановка задачі кодування джерела, при Якій середня величина спотворення не винних перевіщуваті уровня D требует методу кількісної ОЦІНКИ величини спотворення для будь-которого виходим джерела. Для простого випадка нерозшірення джерела может буті Використана ненегатівна функція вартості, назівається мірою спотворення, визначальності величину «штрафу», вінікає у випадка, коли вихід джерела відтворюється на віході декодера. Вихід джерела є Випадкове завбільшки, того спотворення такоже є Випадкове завбільшки, Середнє значення якої дорівнює
Запис підкреслює, что Середнє спотворення є функція процедури кодування-декодування, яка (як вже позначають Ранее) моделюється матрицею каналу. Конкретна процедура кодування-декодування назівається D-точною тоді и только тоді, коли Середнє спотворення менше або дорівнює D. Таким чином, набор D-точних процедур кодування-декодування может буті Записаний у виде
Оскількі Кожна процедура кодування-декодування візначається матрицею каналу Q, то середня інформація, что отримується при спостереженні одінічного виходим декодера, может буті порахована відповідно (1.3-12). Отже, ми Можемо візначіті найменша допустима ШВИДКІСТЬ як функцію спотворення вирази
тобто як мінімальне значення (1.3-12) на множіні всех D-точних кодів. Зауважімо, что поклади від значень ймовірностей в векторі z и елементів матриці Q, а мінімум в правій части (1.3-25) береться по Q. Если D=0, то менше або дорівнює ентропії джерела, тобто.
Рівняння (1.3-25) візначає мінімально можливіть ШВИДКІСТЬ як функцію спотворення, при Якій інформація від джерела может буті доставлена ???? Одержувач за умови, что Середнє спотворення менше або дорівнює D. Щоб обчісліті Цю ШВИДКІСТЬ, тобто, ротрібно мінімізуваті...
