черпано.
Необхідно звернути увагу на наступне властивість отриманого коду: жодна кодова комбінація не є початком будь-якої іншої кодової комбінації (Префіксний правило). Такі коди називаються неперекривающіеся (непріводімимі).
Закодируем заданий алфавіт методом Шеннона - Фано.
Таблиця 3. Кодові комбінації за методом Шеннона-Фано
Алфавіт істочнікаВероятность сімволаКомбінація кодових сімволовДліна к.с.Чісло одиниць? k p (? k) 12345M k ж0.12200030в0.08900131и0.089010041п0.086010142е0.08501132р0.08310031к0.081101042н0.079101143с0.071110042д0.064110143б0.0581110053о0.0351110154а0.0321111054м0.0261111155
Побудоване дерево кодування коду Шеннона-Фано на рис. 2.
4.3 Кодування побудованим кодом прізвища та імені виконавця курсової роботи
Закодируем фразу: Чебунін Марія. Відсутні в алфавіті джерела букви пропускаються: е б н і н а м а м а р і.
Одержаний код:
11100 1011 0100 1011 11110 11111 11110 100 0100
Першим двом буквах повідомлення відповідає код: 01111100
Рис. 2. Дерево кодування коду Шеннона-Фано
Зобразимо якісні тимчасові діаграми сигналів у всіх проміжних точках структурної схеми (рис.3). Візьмемо фрагмент сигналу, що відповідає двом першими літерами повідомлення «е» - 011 і «б» - 11100.
Рис. 3. а) Частковий сигналу на вході модулятора
На вхід модулятора надходить послідовність кодових символів у вигляді прямокутних радіоімпульсів. Наявність імпульсу - «1», його відсутність - «0».
Рис. 3. б) Частковий сигналу на виході модулятора
Послідовність імпульсів непридатна для передачі по лінії зв'язку, тому вона надходить на модулятор, де використовується для модуляції іншого коливання s (t) - переносника. Вид модуляції - амплітудна телеграфія з пасивною паузою. Модульоване коливання U (t) надходить в лінію зв'язку.
Рис. 3. в) Частковий сигналу на вході демодулятора
У лінії зв'язку сигнал взаємодіє з перешкодою, тому на вхід демодулятора надходить їх сума. Також сигнал в лінії зв'язку піддається спотворень, але ми цього не розглядаємо для простоти. Таким чином, на вході демодулятора присутні випадкові коливання двох видів - реалізація шуму або сума детермінованого сигналу і шуму, що відповідає двом гіпотезам.
Рис. 3. г) Частковий сигналу на виході демодулятора
Завдання демодулятора - прийняти на основі спостереження рішення про те, яка саме гіпотеза виконується на даному інтервалі, і на підставі цього сформувати послідовність двійкових символів, яка потім піддається декодуванню. Ця послідовність може відрізнятися від вихідної b ц (t). Для зменшення ймовірності помилки ми і будемо використовувати кодування.
5. Розрахунок характеристик системи згідно із завданням №2
Розрахунок ентропії і надмірності джерела:
Ентропія - середня кількість інформації, що припадає на один символ, яке визначається як математичне очікування. Ентропія характеризує продуктивність дискретного джерела. Розглядаючи джерело без пам'яті, запишемо ентропію дискретного джерела А у вигляді:
де K - кількість символів в алфавіті, p (? k) - імовірність k-того символу.
Основні властивості ентропії:
.) Ентропія будь-якого джерела неотрицательна. Це випливає з того, що ймовірність будь-якої події неотрицательна і не перевершує одиниці. Рівність нулю ентропії джерела має місце в тому випадку, якщо один із символів має ймовірність 1, а решта - 0.
.) При заданому обсязі алфавіту ентропія максимальна, якщо всі символи рівноймовірно.
Значення ентропії дорівнює. Зокрема, при ентропія максимальна при і дорівнює 1 биту. Таким чином, 1 біт - це кількість інформації, доставляється одним з двох рівноймовірно символів, що виробляються джерелом без пам'яті.
Реальні джерела рідко володіють максимальною ентропією, тому їх прийнято характеризувати так званої надмірністю, яка визначається виразом:
Розрахуємо ентропію джерела:
У нашому випадку
=
=
=3.707 (біт)
Отже, ентропія джерела: біт.
Максимальна ентропія для даного джерела:
біт.
Знайдемо надмірність джерела:
Середня довжина кодової комбінації:
Для побудованого коду середня довжина кодової комбінації:
Теор...
