Реферат Основи інформації та передачі сигналів. Базові логічні елементи

Тема: Лекции

ифри 4 не залежить від того, яка цифра випала в попередньому досвіді.

Приклад залежних подій: при передачі телеграм після приголосної букви більш вірогідна поява голосної букви, ніж другий приголосної.

Наступний приклад залежних подій: на трамвайній зупинці біля нашого будинку зупиняються трамваї трьох маршрутів. Умовно назвемо їх маршрут 1 raquo ;, маршрут 2 і маршрут 3 raquo ;. У результаті багаторазових спостережень ми встановили: при очікуванні трамвая ймовірність приходу перших маршруту 1 - Р (V1)=0,15, ймовірність приходу перших маршруту 2 - P (V2)=0,3, а - маршруту 3 - P (V3)=0,55. Сума всіх ймовірностей дорівнює 1, тому що який-небудь маршрут приїде (незалежно від часу очікування).

Припустимо, при підході до зупинки відійшов трамвай маршруту 2 raquo ;. Імовірність того, що наступним підійде трамвай цього маршруту P (U2/V2), - дуже мала; а ймовірності приходу трамваїв інших маршрутів збільшуються.

З наших міркувань можна скласти матрицю умовних ймовірностей приходу у другому досліді (подія U) трамваїв кожного маршруту, якщо відомо, який трамвай приходив у першому досліді (позначимо перший досвід - подія V):

? P (U1/V1) P (U2/V1) P (U3/V1)? (U/V) =? P (U1/V2) P (U2/V2) P (U3/V2)? (1.41)

? P (U1/V3) P (U2/V3) P (U3/V3)?.

Сума ймовірностей кожного рядка матриці (1.41) дорівнює 1, тому що незалежно від результату першого досвіду, у другому досвіді який-небудь маршрут обов'язково приїде.

? 0,05 0,3 0,65? (U/V) =? 0,2 0,15 0,65?

? 0,2 0,3 0,5?.

Крім умовних ймовірностей можна скласти матрицю вірогідності спільного появи двох подій:

? P (U1, V1) P (U2, V1) P (U3, V1)? (U, V) =? P (U1, V2) P (U2, V2) P (U3, V2)? (1.42)

? P (U1, V3) P (U2, V3) P (U3, V3)? ,

де: P (U2, V1) - імовірність того, що в першому досвіді - приїде трамвай 1-го маршруту, а в другому досвіді - трамвай 2-го маршруту.

Можливість спільного появи двох подій дорівнює добутку умовної ймовірності на безумовну ймовірність події в першому досвіді:

P (U2, V1)=P (V1) * P (U2/V1). (1.43)

Тому матрицю вірогідності спільного появи двох подій можна представити у такому вигляді:

? P (V1) * P (U1/V1) P (V1) * P (U2/V1) P (V1) * P (U3/V1)? (U, V) =? P (V2) * P (U1/V2) P (V2) * P (U2/V2) P (V2) * P (U3/V2)? (1.44)

? P (V3) * P (U1/V3) P (V3) * P (U2/V3) P (V3) * P (U3/V3)?

З цього випливає, що сума всіх елементів матриці (1.44) дорівнює 1.

Ентропія (невизначеність) появи в першому досвіді події V, а в другому, пов'язаному з ним події U, дорівнює:

(1.45)

де: H (V) - ентропія першої події; (U/V) - умовна ентропія.

Основний сенс умовної ентропії H (U/V) полягає в тому, що вона показує, на скільки збільшується ентропія другої події U, коли вже відома ентропія першої події V.

.4.3 Властивості ентропії складних повідомлень

При статистично незалежних повідомленнях U і V спільна ентропія рівна сумі ентропії повідомлень:

(U, V)=H (U) + H (V). (1.46)

Приклад: при двократному киданні кістки випадіння в першому досвіді 3 raquo ;, а в другому 5 - Є статистично незалежним:

При повній статистичної залежності повідомлень U і V спільна ентропія равнабезусловной ентропії одного з повідомлень:

(Uj/Vi)=0; H (U/V)=0; H (U, V)=H (U)=H (V). (1.47)

Наслідком перших двох властивостей є те, що умовна ентропія обмежена межами:

. (1.48)

Для спільної ентропії справедливе співвідношення (наслідок попередніх властивостей):

. (1.49)

Приклад: для двох подій X і Y наведені ймовірності спільних подій P (X, Y):

Визначити: ентропію повідомлень X і Y;