n align="justify"> Сума умовних ймовірностей кожного шпальти дорівнює 1, тобто утворює повну групу:
(j = 1,2 ... n)
3.Условние ймовірності головної діагоналі КМП відображають імовірність правильного прийому сигналів щодо переданих сигналів;
. Решта умовні ймовірності канальної матриці приймача (крім головної діагоналі) відображають імовірність помилкового прийому переданих сигналів;
. Для ідеального каналу, на якому немає перешкод, КМП має вигляд:
В
Властивості канальної матриці об'єднання (КМО):
1. Сума спільних ймовірностей кожного рядка дорівнює безумовній ймовірності джерела:
дискретний матриця приймач кодування
(i = 1,2 ... n)
? p (ai) = 1
+2. Сума спільних ймовірностей кожного шпальти дорівнює відповідної безумовної ймовірності приймача:
(j = 1,2 ... n)
3. Сума всіх елементів канальної матриці об'єднання дорівнює 1.
В
? p (bj) = 1
3. Інформаційні характеристики джерела повідомлень
Для того, щоб зрозуміти що таке інформаційні характеристики, потрібно спочатку дати визначення таким термінам, як алфавіт повідомлення, кортеж упорядкованих унікальних символів і дискретний ансамбль повідомлення (ДАС).
Алфавітом повідомлення називаються символи, які входять до повідомлення. Наприклад:
= {a 1 , a 2 , ..., a n }
Кортеж упорядкованих унікальних символів - це впорядкована послідовність символів.
Х = {х 1 , х 2 , ..., х n } - повідомлення - кортеж символів
Дискретний ансамбль повідомлення (ДАС) - повідомлення з імовірностями символів ДАС {Х, p (х i ) або A , p (a i )}
3.1 Кількість інформації джерела повідомлень
Кількість інформації
Кількістю інформації символу повідомлення визначається:
I (a i ) = - log 2 (p (a i )) = - log (p (a i )) [біт] (i = 1,2 ... n)
У Шенноновская теорії інформації кількість інформації джерела визначається ймовірністю появи символу.
I (a i ) = - ln (p (a i )) [нат] (a i ) = - lg (p (a i )) [дит]
Кожен символ повідомлення містить свою кількість інформації.
Властивості кількості інформації джерела повідомлень
. Кількість інформації неотрицательно:
I (a i )> = 0
. Чим вища ймовірність, тим меншу кількість інформації містить символ. p align="justify">. Якщо ймовірність символу дорівнює 1, то кількість інформації цього символу дорівнює 0. br/>
р (a i ) = 1 ? I (a i ) = 0
. Аддитивність. Кількість інформації декількох символів дорівнює сумі кількостей інформацій кожного. br/>
I (a 1, a 2, a 3 ) = I (a 1 ) + I (a 2 ) + I ( a 3 )
Ентропія - середня кількість інформації на...
