Більш зручною є логарифмічна міра кількості інформації:
(1.36)
Це вираз характеризує кількість інформації в повідомленні Х повідомлення:
(1.37)
Цю величину, що характеризує невизначеність одного i-того повідомлення, прийнято називати приватної ентропією.
Кількість інформації і невизначеність для всієї сукупності випадкових повідомлень можна отримати усередненням по всіх подіях:
(1.38)
(1.39)
Ці залежності висловлюють середнє на одну подію (повідомлення) кількість інформації і ентропії. Термін ентропія запозичений з термодинаміки, де аналогічне вираз характеризує середню невизначеність стану системи молекул речовини.
Незважаючи на збіг залежностей (1.38) і (1.39), ентропія і кількість інформації принципово різні. ентропія Н (Х), що виражає середню невизначеність стану джерела повідомлень, є об'єктивною характеристикою джерела повідомлень і може бути обчислена апріорно (до отримання повідомлення).
Кількість інформації I (X) визначається апостериорно (після отримання повідомлення). Н (Х) - ентропія - це міра нестачу інформації про стан системи. З надходженням інформації про стан системи ентропія (тобто невизначеність) зменшується.
Кількість одержуваної інформації I (X) дорівнює чисельно ентропії Н (Х), яка мала місце щодо джерела повідомлення до передачі інформації.
Інформація розглядається як міра знищення, зняття невизначеності.
При передачі повідомлення за рахунок дії перешкод можливе отримання спотвореного сигналу. Це призводить до неповного зняттю невизначеності (а іноді і до збільшення невизначеності). Тому кількість інформації I (X) чисельно може не збігатися з пріорной невизначеністю H (X).
Одиниці виміру кількість інформації і ентропії залежать від вибору підстави логарифма. При використанні десяткових логарифмів кількість інформації і ентропія визначаються в десяткових одиницях - ДІТАХ.
При аналізі інформаційних процесів в ЕОМ, що функціонують на основі двійкової системи числення, зручно використовувати двійкове підставу логарифма, а кількість нформации і ентропія вимірюються в довічних одиницях - бітах.
При використанні натуральних логарифмів одиницею виміру є - НІТ.
У разі рівної ймовірності повідомлень кількість переданої інформації визначається за формулою:
(1.40)
де: n=1/P (X) - кількість переданих повідомлень
. 4.1 Властивість ентропії дискретних повідомлень
- Ентропія є величина речова, неотрицательная і обмежена (якщо врахувати, що).
- Ентропія детермінованих повідомлень дорівнює нулю. Якщо заздалегідь відомо, що ймовірність події Р (Хi)=1, а ймовірності решти подій Р (Хi)=0, аостальние слоган дорівнюють нулю, оскільки межа lim (x * log x) при х? 0 також дорівнює нулю.
Ентропія максимальна, якщо всі події рівноймовірно. Розглянемо на прикладі:
Кидання кістки з 6-ма гранями може призвести до 6-ти исходам. Якщо всі варіанти рівноймовірно, то:
(X)=log (6)=2,585 (біт).
Припустимо, за рахунок зміщення центру ваги ймовірності випадання сторін рівні:
(1)=0,5; P (2)=P (3)=P (4)=P (5)=0,11; P (6)=0,06
Середня ентропія всіх результатів дорівнює:
(X)=- [0,5 * log 0,5 + 4 * (0,11 * log 0,11) + 0,06 * log 0,06] (X)=2,344 (біт).
Ентропія рівноймовірно подій зростає із збільшенням кількості подій, що випливає з формули (1.40).
Ентропія двухальтернатівних подій може змінюватися в межах від 0 (ймовірність однієї з подій дорівнює Р (Х) до 1 (біт) - при рівноймовірно події.
Завдання: Визначити мінімальну кількість зважувань, яке необхідно провести на врівноважуючих вагах (аптечних), щоб серед 27 зовні невідмітних монет знайти одну фальшиву, легшу.
При випадковому пошуку монети загальна невизначеність одного досвіду:
.
Одне зважування має 3 результату: ліва чаша легше, права чаша легше, ваги знаходяться в рівновазі. Тому після одного зважування рівномірного кількості монет невизначеність зменшиться на величину:
H (X ')=log 3.
З цих рівностей випливає, що для зняття повної невизначеності потрібно 3 зважування.
. 4.2 Ентропія складних повідомлень
Реально спостережувані випадкові процеси можуть бути незалежними або взаємопов'язані.
Наприклад, кидання кістки в декількох дослідах - це незалежні процеси - в кожному досвіді випадіння ц...
