адходить до одержувача від джерела, складе
де - ентропія джерела повідомлень.
За аналогією для каналу зв'язку, що представляє частину інформаційного каналу, матимемо
.
Якщо послідовність X Т складається з m повідомлень і середня тривалість сигналу, що забезпечує передачу одного повідомлення складає t с, то можна визначити швидкість передачі інформації як
де Н (X) - ентропія джерела n повідомлень:
Надалі підставу 2 логарифма для простоти буде опущено.
Очевидно, що швидкість передачі інформації буде залежати від статистичних характеристик джерела повідомлень, методу кодування повідомлень і властивостей каналу. Так, при одному і тому ж способі кодування тривалість символів переданих сигналів може бути різною в залежності від ширини смуги частот пропускання каналу. Зі зміною тривалості символів змінюється і швидкість передачі інформації.
Пропускна здатність інформаційного каналу C визначається максимальним значенням швидкості передачі:
Аналогічно знаходиться пропускна здатність каналу зв'язку CС, що є частиною інформаційного каналу:
(1.3)
Зазвичай CС gt; C.
Реальна швидкість передачі інформації може бути максимальною і рівної пропускної здатності каналу, якщо статистичні характеристики джерела повідомлень певним чином узгоджені з властивостями інформаційного каналу. Для кожного джерела це може бути досягнуто спеціальним вибором способу кодування повідомлень. Таке кодування, при якому досягається найбільш ефективне використання пропускної здатності дискретного каналу (тобто забезпечується максимальна швидкість передачі інформації макс), називається ефективним.
Дискретний канал, в якому передані повідомлення представлені двійковим кодом, називається двійковим каналом. Якщо код має m символів (розрядів), то очевидно, що всього можна закодувати n=2m повідомлень, а тривалість одного повідомлення складе T=mt, де t - тривалість символу коду з урахуванням того, що всі символи зазвичай мають однакову тривалість. Двійкові коди, які з однакового числа символів m, називаються рівномірними. Пропускна здатність розглянутого каналу з урахуванням формул (1.1), (1.2) і (1.3) складе
(1.4)
Вираз (1.4) приймає максимальне значення, коли ентропія ансамблю подій (повідомлень) H (YT) буде найбільшою. З властивостей ентропії випливає, що H (YT) буде максимальна, якщо повідомлення рівноймовірно, це максимальне значення може бути визначене заходом Хартлі і буде дорівнює log n=log2 m =m [2].
Слід, однак, мати на увазі, що фактична швидкість передачі інформації не завжди виявляється рівною пропускної здатності каналу.
Розглянемо простий приклад.
Приклад 1 . Нехай джерело повідомлень виробляє чотири повідомлення X 1, X 2, X 3, X 4, (n=4). Всі повідомлення мають однакові ймовірності: P (X i)=1/n=0,25. Для їх кодування використовується двійковий рівномірний код, число символів в якому досить вибрати m=2. Вихідні повідомлення х 1, х 2, х 3, х 4 в цьому прикладі будуть представлені наступними кодами: 00, 01, 10, 11.
Швидкість передачі інформації буде визначатися за формулою (1.2), в якій ентропія джерела рівноймовірно повідомлень буде максимальною:
а тривалість кожного з чотирьох повідомлень буде визначатися длительностями відповідних кодових комбінацій і складе tс=2t. Для прикладу 1 за формулою (1.2) знаходимо
Таким чином, в цьому прикладі, як і слід було очікувати, швидкість передачі інформації виявилася рівною пропускної здатності каналу:=Cc=1/t.
3. Розрахункова частина
Джерело повідомлень виробляє чотири повідомлення X 1, X 2, X 3, X 4, (n=4), з наступними ймовірностями: P (X 1)=0,125; P (X 2)=0,49; P (X 3)=0,25; P (X 4)=0,135. Для їх кодування використовується двійковий рівномірний код. Тривалість символу коду 0,5 * 10 - 3.
Рішення:
Визначимо швидкість передачі інформації. Для цього спочатку обчислимо значення ентропії Н (X) (середня кількість інформації):
Формула для обчислення:
.
При тривалості повідомлень Швидкість передачі інформації складе:
Порахуємо пропускну спроможність довічного каналу:
Так як швидкість передачі виявилася менше, тобто C c gt; I (2000 gt; 1 699) показує, що канал не є ефективним і необхідно міняти с...
