сть помилки при передачі будь-которого символу дорівнює. Такий канал назівається двійковім симетричним каналом (ДСК) i візначається Наступний матрицею каналу:
Для шкірного Вступники на вхід символу ДСК породжує один символ Ьу з алфавіту каналу Ймовірності Отримання на віході сімволів и могут буті візначені з (1.3-6):
Оскількі, отже, ймовірність того, что на віході буде символ 0, дорівнює, а ймовірність того, что на віході буде символ 1, дорівнює.
Тепер з (1.3-12) может буті Обчислено середня взаємна інформація для ДСК. Розкріваючі знак підсумовування в цьом рівнянні, и збіраючі разом відповідні члени, отрімаємо в результате:
а) б) в)
Рис. 1.8. Три Функції двійкової информации: (а) Двійкова функція ентропії. (б) Середня взаємна інформація двійкового симетричного каналу (ДСК). (в) Пропускна здатність ДСК
,
де є двійкова функція ентропії, показана на Рис. 1.8 (а). Если значення помилки каналу фіксоване, то при і. Більш того, пріймає максимальне значення, коли символи двійкового джерела рівноймовірні. На Рис. 1.8 (6) представлена ??залежність від при фіксованому значенні помилки каналу.
согласно рівнянню (1.3-13), пропускна здатність ДСК візначається як максимум середньої взаємної информации по всех утворюючім розподілам джерела. На Рис. 1.8 (6) наведено графік для всіх можливіть розподілів двійкового джерела (тобто для, або для всіх значень від до). Можна Побачити, что для будь-которого максимум досягається при=1/2. Це значення відповідає вектору розподілів сімволів двійкового джерела. При цьом значення буде Рівно. Таким чином, пропускна здатність ДСК, зображена на Рис. 1.8 (в) дорівнює
.
Зауважімо, что если в каналі немає помилок (= 0), так само як если помилка є всегда (= 1), пропускна здатність каналу досягає свого максимального значення, Рівного 1 біт/символ. У обох випадка можлива максимальна передача информации, оскількі вихід каналу абсолютно передбачуваності. Однак, если, то вихід каналу Повністю непередбачуваній и передача информации через него Неможливо.
1.3.3 Основні теореми кодування
Загальні математичні принципи, вікладені в Розділі 1.3.2, базуються на моделі системи передачі информации, схема якої наведена на Рис. 1.7, и складається з джерела информации, каналу та одержувача. У даного розділі в Цю схему буде додана система зв язку, и будут розглянуті трьох основні теореми кодування, або Подання, информации. Як показано на Рис. 1.9, система зв язку Розміщена между Джерелом и одержувачем, и складається з кодера и декодера, з єднаних каналом зв язку.
Терема кодування для каналу без шуму
Колі и інформаційний канал, и система зв'язку Вільні від помилок, то основна роль останньої винна зводити до Подання джерела в максимально компактній форме.
Рис. 1.9 Модель системи передачі информации
При ціх условиях теорема кодування для каналу без шуму, такоже назівають Першів теорема Шеннона, візначає мінімально досяжну Середнев Довжину кодового слова на символ джерела.
Джерело информации з кінцевім ансамблем повідомлень (А, z) i статистично Незалежності символами джерела, назівається Джерелом без пам яті. Если виходом джерела є не один символ, а послідовність з n сімволів алфавіту, то можна вважаті, что вихід джерела пріймає Одне з можливіть значень, позначуваніх з полного набору можливіть послідовностей в n елементів:. Іншімі словами, КОЖЕН блок, назівається блокового Випадкове змінною, складається з n сімволів алфавіту A. (Позначення дозволяє відрізняті набор блоків від набору сімволів алфавіту A.) Імовірність ОКРЕМЕ блоку, дорівнює и пов язана з імовірностямі ОКРЕМЕ сімволів Наступний співвідношенням
де Індекси Використовують для вказівки n сімволів алфавіту А, складових блок. Як и Ранее, вектор (штрих означає, что вікорістовується блокового Випадкове змінна) позначає сукупно Розподіл ймовірностей, и ентропія джерела дорівнює
Підставляючі (1.3-14) для і спрощуючі вирази, отрімаємо
Таким чином, ентропія блокового джерела информации без пам`яті (Який породжує блоки Випадкове сімволів) у n разів более, чем ентропія відповідного джерела одиночних сімволів. Таке джерело назівають n-кратним Розширене джерела одиночних сімволів (нерозшірення джерела). Зауважімо, что одноразові Розширене джерела є нерозшірене джерело як таке.
Оскількі Кількість информации на віході джерела, є Перші, РОЗУМНА представляється коду...
