>
H (A/bj) =? p (ai/bj) log p (ai/bj) (j = 1,2 ... n) [біт/символ]
Загальна умовна ентропія приймача (ОУЕП) визначає середні втрати інформації на символ при прийомі ансамблю {B, p ()}:
[біт/символ]
5. Швидкісні характеристики
5.1 Швидкість модуляції [симв/сек]
[симв/сек],
де - тривалість передачі одного сигналу
Якщо тривалість передачі сигналів різна, то обчислюється середній час передачі одного сигналу.
В
5.2 Продуктивність джерела бод;
Продуктивність джерела - кількість біт, що виробляються в одиницю часу - 1 секунду.
[бод]
5.3 Швидкість передачі або бод;
Швидкість передачі джерела:
[біт/сек], [бод]
Швидкість передачі приймача:
[біт/сек], [бод]
.4 Ємність каналу або бод;
Ємність каналу (пропускна здатність каналу) - це максимальне
кількість біт, що передається в одиницю часу - секунду.
Пропускна здатність - максимальна швидкість передачі.
C = maxR
Ємність каналу джерела:
[біт/сек], [бод]
Ємність каналу приймача:
[біт/сек], [бод]
5.5 Коефіцієнт ефективності дискретного каналу
Чим більше коефіцієнт ефективності дискретного каналу прагне до одиниці, тим ефективніше канал і тим менше інформаційні втрати на ньому.
В В
5.6 Теореми Шеннона о критичної швидкості і кодуванні
1) Теорема про критичну швидкості:
Теорема визначає критичну швидкість передачі, залежну тільки від розподілу ймовірності, коли він існує спосіб передачі зі швидкістю R (), при якому можливе відновлення вихідного повідомлення (), де С - пропускна здатність каналу, Н (А) - ентропія джерела;
2) Теорема про кодування:
Якщо H (A) - продуктивність джерела - менше ємності каналу (), то існує спосіб кодування і декодування, при якому ймовірність помилки буде як завгодно мала і навпаки.
Приклад розрахунку швидкісних характеристик для канальної матриці джерела.
1. Вихідні дані
Дана матриця умовних ймовірностей, які відображають дію перешкод дискретного каналу зв'язку.
В
Сума ймовірностей кожного рядка дорівнює 1,00.
Час передачі символу ? = 0,0002 сек. Передано 250 символів.
Безумовні ймовірності появи символів на виході:
p (a 1 ) = 0.25, p (a 2 ) = 0.35, p (a 3 ) = 0.15, p (a 4 ) = 0.25
. Розрахунки
1) Кількість інформації I (a i ) кожного символу a 1 , a 2 , a 3 дискретного повідомлення:
(i = 1,2,3) [біт]
[біт]
[біт]
[біт]
[біт]
) Середня кількість інформації, передане одним символом визначає ентропія джерела повідомлень Н (А):
[біт/символ]
H (A) = - (0,25 * (-2) + 0,35 * (- +1,51) + 0,15 * (- +2,73) + 0,25 * (-2) = - (-0,5 - 0,53 - 0,41 - 0,5) = 1,94 [біт/символ]
) Максимальна ентропія джерела повідомлень H max (A)
H max (A) = log N = log 4 = 2 [біт/символ]
де N-кількість символів в алфавіті повідомлення.
4) Інформаційні втрати при передачі кожного символу a i визначає приватна умовна ентропія H (B/a i ):
[біт/символ] (B/a1) = - (0,9 * (-0,15) + 0,05 * (-4,32) + 0,03 * (-5,05) +0 , 02 * (-5,64) =
(-0,1368 - 0,2161 - 0,1518 - 0,1129) = 0,6175 [біт/символ]
H (B/a2) = - (0,1 * (-3,32) + 0,84 * (-0,25) + 0,06 * (-4,05) +0)...
