немає розподілу на кодові комбінації, вихідні елементи залежать від низки попередніх. br/>
.2 Ефективне кодування
Ефективне кодування - це процедури спрямовані на усунення надмірності.
Основне завдання ефективного кодування: забезпечити, в середньому, мінімальне число двійкових елементів на передачу повідомлення джерела. У цьому випадку, при заданій швидкості модуляції забезпечується передача максимального числа повідомлень, а значить максимальна швидкості передачі інформації. p> Нехай є джерело дискретних повідомлень, алфавіт якої k.
При кодуванні повідомлень даного джерела двійковим, рівномірним кодом, буде потрібно двійкових елементів на кодування кожного повідомлення.
Якщо ймовірності P (ai) появи всіх повідомлень джерела рівні, то ентропія джерела (або середня кількість інформації в одному повідомленні) максимальна і дорівнює.
У даному випадку кожне повідомлення джерела має інформаційну ємність біт, і очевидно, що для його кодування (перевезення) потрібен двійкова комбінація не менше елементів. Кожен двійковий елемент, в цьому випадку, буде переносити 1 біт інформації. p> Якщо при тому ж обсязі алфавіту повідомлення не рівноймовірно, то, як відомо, ентропія джерела буде
.
Якщо і в цьому випадку використовувати для перевезення повідомлення lр.к.-розрядні кодові комбінації, то на кожен двійковий елемент кодової комбінації припадатиме менше ніж 1 біт.
З'являється надмірність, яка може бути визначена за такою формулою:
, де D - надмірність.
Якщо середнє завантаження одиничного елемента так мала, постає питання, чи не можна зменшити середню кількість елементів необхідних для перенесення одного повідомлення і як найбільш ефективно це зробити?
Для вирішення цього завдання використовуються нерівномірні коди.
При цьому, для передачі повідомлення, що містить більшу кількість інформації, вибирають більш довгу кодову комбінацію, а для передачі повідомлення з малим обсягом інформації використовують короткі кодові комбінації.
Враховуючи, що обсяг інформації, що міститься в повідомленні, визначається ймовірністю появи
,
можна перефразувати це висловлювання.
Для повідомлення, що має високу ймовірність появи, вибирається більш коротка комбінація і навпаки, рідко зустрічається повідомлення кодується довгою комбінацією.
Таким чином, на одне повідомлення буде витрачено в середньому меншу одиничних елементів
,
ніж при рівномірному.
Якщо швидкість телеграфування постійна, то на передачу одного повідомлення буде витрачено в середньому менше часу:
В
А значить, при тій же швидкості телеграфування буде передаватися більше число повідомлень в одиницю часу, ніж при рівномірному кодуванні, тобто забезпечується велика швидкість передачі інформації.
Яке ж в середньому мінімальна кількість одиничних елементів по...
