ручною є логарифмічна міра кількості інформації:
(1.36)
Це вираз характеризує кількість інформації в повідомленні Х повідомлення:
(1.37)
Цю величину, що характеризує невизначеність одного i-того повідомлення, прийнято називати приватної ентропією.
Кількість інформації і невизначеність для всієї сукупності випадкових повідомлень можна отримати усередненням по всіх подіях:
(1.38)
(1.39)
Ці залежності висловлюють середнє на одну подію (повідомлення) кількість інформації і ентропії. Термін «ентропія» запозичений з термодинаміки, де аналогічне вираз характеризує середню невизначеність стану системи молекул речовини.
Незважаючи на збіг залежностей (1.38) і (1.39), ентропія і кількість інформації принципово різні. ентропія Н (Х), що виражає середню невизначеність стану джерела повідомлень, є об'єктивною характеристикою джерела повідомлень і може бути обчислена апріорно (до отримання повідомлення).
Кількість інформації I (X) визначається апостериорно (після отримання повідомлення). Н (Х) - ентропія - це міра нестачу інформації про стан системи. З надходженням інформації про стан системи ентропія (тобто невизначеність) зменшується.
Кількість одержуваної інформації I (X) дорівнює чисельно ентропії Н (Х), яка мала місце щодо джерела повідомлення до передачі інформації.
Інформація розглядається як міра знищення, зняття невизначеності.
При передачі повідомлення за рахунок дії перешкод можливе отримання спотвореного сигналу. Це призводить до неповного зняттю невизначеності (а іноді і до збільшення невизначеності). Тому кількість інформації I (X) чисельно може не збігатися з пріорной невизначеністю H (X).
Одиниці виміру кількість інформації і ентропії залежать від вибору підстави логарифма. При використанні десяткових логарифмів кількість інформації і ентропія визначаються в десяткових одиницях - ДІТАХ.
При аналізі інформаційних процесів в ЕОМ, що функціонують на основі двійкової системи числення, зручно використовувати двійкове підстава логарифма, а кількість нформации і ентропія вимірюються в довічних одиницях - бітах.
При використанні натуральних логарифмів одиницею виміру є - НІТ.
У разі рівної ймовірності повідомлень кількість переданої інформації визначається за формулою:
(1.40)
де: n=1 / P (X) - кількість переданих повідомлень
.4.1 Властивість ентропії дискретних повідомлень
- Ентропія є величина речова, неотрицательная і обмежена (якщо врахувати, що).
- Ентропія детермінованих повідомлень дорівнює нулю. Якщо заздалегідь відомо, що ймовірність події Р (Хi)=1, а ймовірності інших подій Р (Хi)=0, аостальние слоган дорівнюють нулю, оскільки межа lim (x * log x) при х? 0 також дорівнює нулю.
Ентропія максимальна, якщо всі події рівноймовірно. Розглянемо на прикладі:
Кидання кістки з 6-ма гранями може призвести до 6-ти наслідків. Якщо всі варіанти рівноймовірно, то:
(X)=log (6)=2,585 (біт).
Припустимо, за рахунок зміщення центру ваги ймовірності випадання сторін рівні:
(1)=0,5; P (2)=P (3)=P (4)=P (5)=0,11; P (6)=0,06 <...
