"> В· Демодулятор - перетворює електричні сигнали в двійковий код;
В· Декодер ПЗК - визначає наявність помилки, обчислює адресу помилки, коригує її, знімає перешкодостійкі захист;
В· Декодер ОНК - нерівномірний код перетворюється в рівномірний двійковий код;
В· Дешифратор - знімає криптозахист;
В· ЦАП - цифро-аналоговий перетворювач (дискретну інформацію перетворює в безперервну).
.2 Види інформації
У процесі проходження по каналу інформація багаторазово змінює свою форму, зберігаючи при цьому своє утримання:
) Безперервна інформація;
) Дискретна інформація;
) Кріптокод;
) Оптимальний нерівномірний код (двійковий);
) перешкодостійкі код;
) Електричні сигнали.
Розрахунок кількості інформації символів алфавіту
Для початку нам необхідно обчислити v i - частоту появи кожного символу алфавіту. Сума v i дорівнюватиме довжині повідомлення l s < span align = "justify">.
Тепер розраховуємо P (a i ) - ймовірність появи символу нашого алфавіту в повідомленні.
P (a i ) = v i /l s
Сума таких ймовірностей повинна дорівнювати одиниці.
Після цього ми можемо знайти необхідну кількість інформації за формулою: I (a i ) = - log (P ( a i )) [біт]
Властивості кількості інформації:
. Кількість інформації не негативно:
I (a i )? 0
2. Чим вища ймовірність, тим менша кількість інформації містить символ. br/>В
Рис.3. Графік до властивості 2
. Якщо ймовірність символу дорівнює 1, то кількість інформації цього символу дорівнює 0:
Р (a i ) = 1 ? I (a i ) = 0
. Аддитивність. Кількість інформації декількох символів дорівнює сумі кількостей інформацій кожного:
I (a 1, a 2, a 3 ) = I (a 1 ) + I (a 2 ) + I ( a 3 )
Ентропія дискретного ансамблю повідомлення
Ентропія - середня кількість інформації на символ повідомлення.
Розрахунок ентропії алфавіту
Для обчислення ентропії алфавіту нам знадобиться l а - кількість символів алфавіту.
Максимальна ентропія алфавіту буде дорівнює:
max (А) = log l a [біт /символ]
Причому потрібно відзначити, що логарифм ми беремо за основою 2.
Розрахунок ентропії повідомлення
Для знаходження ентропії повідомлення нам потрібно обчислити таке значення:
H (A) = -? (P (a i ) * logP (a < span align = "justify"> i )) [біт/символ]
Розрахунок максимальної ентропії
Максимальну ентропію рахуємо за формул...
