/p>
Середня ентропія всіх результатів дорівнює:
(X)=- [0,5 * log 0,5 + 4 * (0,11 * log 0,11) + 0,06 * log 0,06] (X)=2,344 (біт).
Ентропія рівноймовірно подій зростає із збільшенням кількості подій, що випливає з формули (1.40).
Ентропія двухальтернатівних подій може змінюватися в межах від 0 (ймовірність однієї з подій дорівнює Р (Х) до 1 (біт) - при рівноймовірно події.
Завдання: Визначити мінімальну кількість зважувань, яке необхідно провести на врівноважуючих вагах (аптечних), щоб серед 27 зовні не відрізняються монет знайти одну фальшиву, легшу.
При випадковому пошуку монети загальна невизначеність одного досвіду:
.
Одне зважування має 3 результату: ліва чаша легше, права чаша легше, ваги знаходяться в рівновазі. Тому після одного зважування рівномірного кількості монет невизначеність зменшиться на величину:
H (X ')=log 3.
З цих рівностей випливає, що для зняття повної невизначеності буде потрібно 3 зважування.
.4.2 Ентропія складних повідомлень
Реально спостережувані випадкові процеси можуть бути незалежними або взаємопов'язані.
Наприклад, кидання кістки в декількох дослідах - це незалежні процеси - в кожному досвіді випадіння цифри «4» не залежить від того, яка цифра випала в попередньому досвіді.
Приклад залежних подій: при передачі телеграм після приголосної букви більш вірогідна поява голосної букви, ніж другий приголосної.
Наступний приклад залежних подій: на трамвайній зупинці біля нашого будинку зупиняються трамваї трьох маршрутів. Умовно назвемо їх «маршрут 1», «маршрут 2» і «маршрут 3». У результаті багаторазових спостережень ми встановили: при очікуванні трамвая ймовірність приходу перших «маршруту 1»- Р (V1)=0,15, ймовірність приходу перших «маршруту 2»- P (V2)=0,3, а - «маршруту 3»- P (V3)=0,55. Сума всіх ймовірностей дорівнює 1, тому що який-небудь маршрут приїде (незалежно від часу очікування).
Припустимо, при підході до зупинки відійшов трамвай «маршруту 2». Імовірність того, що наступним підійде трамвай цього маршруту P (U2/V2), - дуже мала; а ймовірності приходу трамваїв інших маршрутів збільшуються.
З наших міркувань можна скласти матрицю умовних ймовірностей приходу в другому досвіді (подія U) трамваїв кожного маршруту, якщо відомо, який трамвай приходив в першому досвіді (позначимо перший досвід - подія V):
? P (U1/V1) P (U2/V1) P (U3/V1)? (U / V) =? P (U1/V2) P (U2/V2) P (U3/V2)? (1.41)
? P (U1/V3) P (U2/V3) P (U3/V3)? .
Сума ймовірностей кожного рядка матриці (1.41) дорівнює 1, тому що незалежно від результату першого досвіду, у другому досвіді небудь маршрут обов'язково приїде.
? 0,05 0,3 0,65? (U / V) =? 0,2 0,15 0,65?
? 0,2 0,3 0,5? .
Крім умовних ймовірностей можна скласти матрицю ймовірностей спільного появи двох подій:
? P (U1, V1) P (U2, V1) P (U3, V1)? (U, V) =? P (U1, V2) P (U2, V2) P (U3, V2)? (1.42)
