ницю часу. Бодов швидкість в Бод визначається номером студента в об'єднаному списку.
Теоретичні відомості:
Інформаційні характеристики джерел повідомлень і каналів зв'язку дозволяють встановити шляхи підвищення ефективності систем передачі інформації, і, зокрема, визначити умови, за яких можна досягти максимальної швидкості передачі повідомлень по каналу зв'язку.
Вихідні дані:
Варіант 19.
Малюнок 2.1 - Структурна схема: - підстава коду;
За умовою завдання відома матриця спільних ймовірностей (таблиця 2.1).
Таблиця 2.1 - Матриця спільних ймовірностей
Згідно номеру варіанта Бодов швидкість дорівнює.
Рішення:
.1 Продуктивність (потужність) джерела або потужність створення інформації (ентропія джерела):
або
.2 Ентропія на виході каналу:
або
.3 Ентропія системи двох випадкових величин:
.4 Швидкість передачі інформації по каналу (середня взаємна інформація):
або
.5 Швидкість втрати інформації в каналі (ненадійність каналу):
або
.6 Швидкість створення неправдивої інформації в каналі:
або
Відповіді:
Отримані результати занесені в таблицю 2.2.
Таблиця 2.2 - Отримані результати ()
. 2 Завдання 2. Блокове кодування джерела
Статистичні властивості троичного джерела без пам'яті визначаються низкою розподілу, заданого в задачі 1 індивідуальної роботи 1.
Визначити ентропію джерела і його надмірність.
Провести блокове кодування джерела блоками по два символи двійковими кодами Хаффмана, Шеннона-Фано і рівномірним кодом.
Порівняти коди по ефективності.
Визначити ймовірності появи 0 і 1 в послідовностях символів на виході кодерів.
Теоретичні відомості:
Повідомлення на виході будь-якого реального джерела інформації (текст, мова, зображення і т.д.) володіє надмірністю. Ефективне кодування (кодування джерела) здійснюється з метою підвищення швидкості передачі інформації та наближення її до пропускної здатності каналу за рахунок зменшення надмірності. Тому перед тим, як проводити якісь перетворення повідомлення, краще від цієї надмірності позбутися.
Надмірність при побуквенном кодуванні може виявитися занадто великою. Причини - нерівномірний розподіл ймовірностей і наявність статистичної залежності між буквами. У цьому випадку здійснюється кодування блоків, що містять букви, тобто кожна буквена комбінація розглядається як символ нового алфавіту джерела і виробляється ефективне кодування відомими методами.
Вихідні дані:
Варіант 19.
Таблиця 1.3 - Ряд розподілу
Відомий ряд розподілу (таблиця 2.3).
Малюнок 1.2 - Структурна схема
- підстава алфавіту; m - підстава коду;
Рішення:
.2.1 Визначення ентропій джерела та його надмірності
Максимальна ентропія джерела:
Ентропія джерела:
Надмірність джерела:
.2.2 Блокове кодування джерела по два символи
Довжина блоку дорівнює 2.
Обсяг нового алфавіту:
Всілякі комбінації в блоці і їх ймовірності дані в таблиці 2.4.
Таблиця 2.4 - Варіанти комбінації в блоці і їх ймовірності
Комбінація Імовірність
Повна ймовірність:
Ентропія кодера:
Мінімальна можлива довжина коду:
.2.2.1 Код Шеннона-Фано
Алгоритм коду Шеннона-Фано (малюнок 2.3, таблиця 2.5):
Букви алфавіту повідомлень вписуються в таблицю в порядку убування ймовірностей - впорядковування алфавіту;
Алфавіт розділяється на дві приблизно рівноімовірні групи - дроблення алфавіту;
Усім буквах верхньої половини в якості першого символу приписують 1, а всім нижнім - 0;
Процес повторюють до тих пір, поки в кожній підгрупі залишиться по одній букві;
Записують код.
Малюнок 2.3 - Кодування алгоритмом Шеннона-Фано
Таблиця 2.5 - Кодування алгоритмом Шеннона-Фано
IIIIIIIVКод (1) (1) (0) (1) (0) (0) (1) (1) (0) (0) (1) (1) (0) (0 ) (1) (0)
Код Хаффмана
Алгоритм коду Хаффмана:
Букви алфавіту повідомлень також вписуються в стовпець у порядку убування ймовірностей;
Дві останні літери об'єднуються в одну допоміжну букву, якої приписується сумарна ймовірність - укрупнення...
