ема Шеннона про кодування в відсутність шумів. Середню довжину кодових слів для передачі символів джерела за допомогою коду з підставою можна як завгодно наблизити до величини.
Сенс теореми полягає в тому, що вона визначає нижню межу довжини кодових слів і встановлює принципову можливість досягти цієї межі, однак вона не вказує способів досягнення.
Згідно з теоремою Шеннона при оптимальному кодуванні можна досягти середньої довжини:
? min=H (A)/log22=H (A)=3.707 (символу)
Тобто,? ср? ? min. Таким чином, побудований код не є оптимальним, тому що на кожному кроці процедури побудови коду не вдавалося розділити символи на групи з рівними ймовірностями.
Розрахунок ентропії, надмірності коду, ймовірності двійкових символів, переданих по каналу, швидкість передачі інформації:
Визначимо ймовірність появи певного символу в кодової комбінації (нехай це буде символ 1). Вона знаходиться, як сума кількостей одиниць у всіх кодових словах з вагами, рівними ймовірностям кодових слів, віднесена до середньої довжині кодового слова:
У такому випадку, ймовірність появи символу 0: - апріорна ймовірність 0.
Визначимо ентропію коду:
Т.к. алфавіт коду складається з двох символів 0 і 1, тому ентропія коду дорівнює:
Розрахуємо надмірність коду:
Тільки будемо враховувати, що при передачі бінарного коду, його максимальна ентропія: Нк мах=1
Таким чином, отримаємо:
Швидкість передачі інформації по каналу без перешкод:
Оскільки НК=0.999 (біт) і? =0.9 (мкс), отримуємо:
біт/сек.
або
біт/сек.
де?- Тривалість посилки.
6. Опис процесу прийняття приймачем рішення при прийомі сигналу
Нехай при передачі дискретних повідомлень використовуються реалізації сигналу Si (t), відповідні кодовою символам. Протягом інтервалу часу від 0 до Т на вхід приймального пристрою надходить деяке коливання, яке внаслідок спотворень і перешкод (x (t)) в каналі не збігається в точності ні з одним з переданих сигналів. Отже, в цьому випадку приймальний пристрій має обрати одну з n можливих взаємовиключних гіпотез. Рішення про те, який символ був переданий на вході, приймається в демодуляторе. У випадку, когда код бінарний демодулятор вирішує: був сигнал на вході або його не було («1» і «0» відповідно).
Для виконання даного завдання встановлюється поріг: якщо сигнал перевищує встановлений пороговий рівень, то передана «1» (сума сигналу з шумом), якщо порогового рівня - «0» (тільки шум). Цей алгоритм легко реалізується в сучасній електроніці за допомогою мікросхем - компараторів, які порівнюють два сигнали, один з яких надходить з лінії, а інший є еталонним, він і грає роль порога.
В якості перешкоди - стаціонарний квазібелий гауссовский шум з нульовим середнім, відомої дисперсією і спектральною щільністю потужності N0/2, постійної в смузі частот, в якій зосереджено 99% енергії сигналу, і рівний 0 поза цієї смуги.
Ми будемо використовувати спосіб прийому, що полягає у взятті однократного (миттєвого) значення спостережуваного процесу z (t) в деякий момент часу t0 і порівнюванні його з порогом Yп.
Точно знаючи сигнал, слід вибрати в якості t0 такий момент, коли сигнал приймає максимальне значення. Але шум у цей час може прийняти негативне значення, так що сума сигналу з шумом може виявитися нижче порога (помилка другого роду - пропуск сигналу). При відсутності сигналу шумова реалізація може перевищити поріг (помилка першого роду - помилкова тривога).
Щоб знайти поріг і ймовірності помилок першого і другого роду, необхідно розглянути умовні щільності розподілу ймовірностей шуму w (y | H0) і суми сигналу і шуму w (y | H1) у момент часу t0.
Критерій мінімуму сумарної умовної ймовірності помилки.
Для отримання мінімуму сумарної умовної ймовірності помилки потрібно вибрати поріг, рівний точці перетину густин.
Тоді рішення приймається на користь тієї гіпотези, для якої значення умовної щільності ймовірності вище, тобто більш правдоподібною гіпотези.
Ставлення правдоподібності для критерію мінімуму сумарної умовної ймовірності помилки:
?= gt; ( lt;) 1
Для того, щоб ймовірність помилки була якомога менше, необхідно встановити оптимальний поріг.
При передачі дискретних повідомлень в якості критерію зазвичай приймають середню ймовірність помилки прийому одного елемента двійковій послідовності. Цей критерій називається критерієм ідеального спостерігача (Котельникова), згідно з яким поріг вибирається так, щоб забезпечити мінімум середньої ймовірності помилки:
рош=р0р01 + р1р10,
де р0 - апріорна ймовірність г...
