ою:
max (А) = log l s [біт /символ]
Властивості ентропії:
. Ентропія НЕ негативна:
Н (A)? 0
. Ентропія дорівнює нулю тоді і тільки тоді, коли ймовірність символу дорівнює 1. br/>
Н (A) = 0 ? Р (a i ) = +1
. Ентропія обмежена:
(A)? log l s [біт/символ]
де l s - кількість символів у повідомленні.
. Максимальна ентропія дорівнює:
max (А) = log l s [біт /символ]
В
Рис.4. Графік до властивості 4
Розрахункова таблиця результатів
У дану таблицю ми внесемо всі наші результати розрахунків і, як результат, побудуємо графік кількості інформації і графік ентропії.
S = (У житті є почуття гумору)
А = (У, ж, і, з, н, е, з, т, ь, ч, в, про, ю, м, р, а,.)
ia i v i P (a i ) I (a i H (А) = log l a = log16 = 4 [біт/символ]
H max (A) = log22 = 4,4594 [біт/символ]
2. Канальні матриці (КМІ, КМП, КМО) та їх взаємозв'язок
Канальна матриця визначає дію перешкод на дискретній каналі.
Канальні матриці бувають трьох видів: канальна матриця джерела, канальна матриця приймача і канальна матриця об'єднання.
Канальна матриця джерела (КМІ)
Канальна матриця джерела складається з умовних ймовірностей прийнятих сигналів щодо переданих сигналів, які відображають дію перешкод на канал.
Ця матриця відображає статистичні характеристики дії перешкод. Канальна матриця джерела є матрицею прямих переходів переданих сигналів у прийняті сигнали. p> Кожен рядок КМІ представляє собою розподіл умовних ймовірностей прийнятих сигналів щодо переданих сигналів. Всі ці умовні ймовірності p (bj/ai) і утворюють КМІ. br/>В
Канальна матриця приймача (КМП)
Дискретний канал повністю заданий, якщо відомі безумовні ймовірності прийому сигналів і задана канальна матриця приймача.
Умовні ймовірності р (ai/bj) прийому сигналів щодо переданих сигналів складають канальну матрицю приймача (КМП) і відображають дію перешкод на каналі.
В В
Канальна матриця об'єднання (КМО)
Дискретний канал повністю заданий канальної матрицею об'єднання (КМО).
КМО складається з спільних ймовірностей появи сигналів і - р (ai, bj) і відображає дію перешкод на каналі зв'язку.
Елементами матриці є спільні ймовірності:
В
Взаємозв'язок канальних матриць
З КМО в КМІ
p (bi/aj) = (ai) = p (ai, bj) (i = 1,2 ... n)
З КМІ в КМО
В
З КМО в КМП
p (ai/bj) =
p (bj) = p (ai, bj) (j = 1,2 ... n)
З КМП в КМО
p (ai, bj) = p (bj) В· p (ai/bj)
2.1 Властивості канальних матриць
Властивості канальної матриці джерела (КМІ):
1. КМІ - квадратна матриця, тобто її розмір nxn;
2. Сума умовних ймовірностей кожного рядка дорівнює 1, тобто утворює повну групу:
(i = 1,2 ... n)
. Умовні ймовірності головної діагоналі КМІ відображають імовірність правильного прийому сигналів щодо переданих сигналів;
. Решта умовні ймовірності канальної матриці (крім головної діагоналі) відображають імовірність помилкового прийому переданих сигналів;
. Для ідеального каналу, на якому немає перешкод, канальна матриця має вигляд:
В
Властивості канальної матриці приймача (КМП):
1. КМП - це квадратна матриця, тобто її розмір nxn;
2.
