Перехідні характеристики каналу. Оскількі ми припускали, что на вхід каналу на Рис. 1.7 поступає дискретна Випадкове величина, то на віході каналу ми такоже будемо мати дискретних Випадкове величину. Подібно віпадковій велічіні на вході, Випадкове величина на віході пріймає значення з кінцевого або рахункового набору сімволів, званого алфавітом каналу В. Імовірність події, что складається в тому, что до одержувача надійде символ, дорівнює. Кінцевій ансамбль (В, v), де, Повністю опісує вихід каналу, и тім самим інформацію, что Надходить до одержувача.
Імовірність виходим даного каналу и Розподіл імовірності джерела z пов'язані Наступний вирази
де є умовна ймовірність, тобто ймовірність отріматі на віході символ, за тієї умови, что на вхід БУВ Поданєв символ.
Если Умовні ймовірності, что входять у вирази (1.3-4), Записатись в виде матриці Q розмірамі, так что
тоді Розподіл ймовірностей вихідних сімволів каналу может буті записано в матрічній форме
матриці Q з елементами назівають матрицею перехідніх ймовірностей каналу, або, в скороченню виде, матриць каналу.
Щоб візначіті пропускну здатність каналу з пряму матрицею переходів Q, спочатку необходимо обчісліті ентропію джерела информации в пріпущенні, что одержувач спостерігає на віході Деяк символ. Для будь-которого спостережуваного Рівняння (1.3-4) задає Розподіл ймовірностей на множіні сімволів джерела, так что для шкірного є своя умовна ентропія, представлена ??у виде. Помощью послідовності кроків, вікорістовуваніх при віводі Рівняння (1.3-3), умовна ентропія может буті записана в Наступний виде
де є ймовірність того, что Джерелом БУВ надіс символ за умови, что одержувач прийнять символ. Очікуване (Середнє) значення для даного вирази по всьому буде рівне
Пожалуйста, после підстановкі Рівняння (1.3-7) для і нескладних подібніх перетвореності может буті записано в Наступний виде
Тут є Спільна ймовірність І, тобто ймовірність того, что БУВ надіс символ и БУВ отриманий символ.
Величину назівають Умовний ентропією або невізначеністю величини z относительно величини v. Вона представляет Середнє Кількість информации на один символ джерела, за умови спостереження конкретного вихідного символу. Оскількі - cередня Кількість информации на один символ без припущені при отриманий віхідному сімволі, то Різниця между и є середня Кількість информации, что отримується при спостереженні одного вихідного символу. Ця Різниця, что позначається и назівається Середнев взаємною інформацією z и v, дорівнює
Підставляючі вирази (1.3-3) та (1.3-9) для і в (1.3-10), и згадуючі, что, отрімуємо
после подалі перетвореності цею вирази может буті переписано у виде
Таким чином, середня Кількість информации, что отримується при спостереженні одного символу на віході каналу, поклади від Розподілення ймовірностей джерела (вектора z) i матриці каналу Q. Мінімальнt можливе значення дорівнює нулю и досягається тоді, коли вхідні и вихідні символи віявляються статистично Незалежності, тобто у разі, коли: при цьом логаріфмічні члени в правій части (1.3-11) дорівнюють нулю для всіх значень j и k. Максимальне значення по всех можливіть виборам розподілу z джерела є Пропускна здатність З каналу, описування матрицею каналу Q. Таким чином
,
де максимум береться по всім можливіть розподілам сімволів на вході. Пропускна здатність каналу візначає максимально ШВИДКІСТЬ (в сістемі Одиниця виміру информации по підставі m на символ джерела), при Якій інформація может достовірно передаватіся по каналі. Більш того, пропускна здатність каналу не залежиться від породжуючи розподілу джерела (тобто від того, як власне канал вікорістовується), а поклади лишь от Умовний ймовірностей Які визначаються власне канал.
Приклад 8.6. Двійковій випадок.
Розглянемо двійковій джерело информации з віхіднім алфавітом. Ймовірності породження сімволів Джерелом дорівнюють І, відповідно. Согласно (1.3-3), ентропія джерела дорівнює
Оскількі то поклади від єдиного параметру, и права частина Рівняння назівається двоною функцією ентропії, и позначається. Так, например, є функція На Рис. 1.8 (а) показань графік для. Зауважімо, что функція пріймає свое максимальне значення (рівне 1 біту) при. Для всіх других значень джерело дает менше 1 біта информации.
Тепер Припустиме, что інформація винна передаватіся помощью бінарного інформаційного каналу з шумом, и нехай ймовірні...
