Реферат Розрахунок інформаційних характеристик дискретного каналу

Тема: Учебные пособия

символ повідомлення (середньозважене).

[біт/символ]

Властивості ентропії

. Ентропія неотрицательна: Н (А)? 0

2. Ентропія дорівнює нулю тоді і тільки тоді, коли ймовірність символу дорівнює 1: Н (a i ) = 0 ? р (a i ) = 1

. Ентропія обмежена: H (a i )? log n [біт/символ]

де n - символів у повідомленні.

. Максимальна ентропія дорівнює: H max (А) = log n [біт/символ]

3.2 Інформаційні втрати

Існує два види умовної ентропії, які визначають дії перешкод на дискретній каналі - це приватна умовна ентропія (ЧУЕ) і загальна умовна ентропія (ОУЕ).

Приватна умовна ентропія джерела (ЧУЕІ) повідомлень відображає кількість втрат інформації при передачі кожного сигналу а i :

H (В/аi) =? p (bj/ai) log p (bj/ai) (i = 1,2 ... n) [біт/символ]

Загальна умовна ентропія джерела (ОУЕІ) визначає середні втрати кількості інформації на прийнятий сигнал щодо переданих сигналів.

[біт/символ]

4. Інформаційні характеристики приймача повідомлень

4.1 Кількість інформації приймача

Кількість інформації

Кількістю інформації символу повідомлення визначається:

I (b j ) = - log 2 (p (b j )) = - log (p (b j )) [біт] (j = 1,2 ... n)

У Шенноновская теорії інформації кількість інформації приймача визначається ймовірністю появи символу.

I (b j ) = - ln (p (b j )) [нат] (b j ) = - lg (p (b j )) [дит]

Кожен символ повідомлення містить свою кількість інформації.

Властивості кількості інформації приймача повідомлень

. Кількість інформації неотрицательно: I (b j )? 0

. Чим вища ймовірність, тим меншу кількість інформації містить символ. p align="justify">. Якщо ймовірність символу дорівнює 1, то кількість інформації цього символу дорівнює 0. br/>

р (b j ) = 1 ? I (b j ) = 0

. Аддитивність. Кількість інформації декількох символів дорівнює сумі кількостей інформацій кожного. br/>

I (b 1, b 2, b 3 ) = I (b 1 ) + I (b 2 ) + I ( b 3 )

Ентропія - середня кількість інформації на символ повідомлення (середньозважене).

[біт/символ]

Властивості ентропії

. Ентропія неотрицательна:

Н (А)? 0

. Ентропія дорівнює нулю тоді і тільки тоді, коли ймовірність символу дорівнює 1:

Н (ai) = 0? р (ai) = 1

. Ентропія обмежена

(B) =