цесі надходження Повідомлень про стан джерела его ентропія зменшується.
Із (2.9) віпліває, что у разі, коли Повідомлень є рівноймовірнімі (тоб ймовірність появи шкірного ПОВІДОМЛЕННЯ дорівнює), то середня кількість ІНФОРМАЦІЇ, якові несе Одне ПОВІДОМЛЕННЯ, дорівнює:
. (2.10)
Наприклад, ЯКЩО користуватись алфавітом, что Складається з 32 букв, и посілаті рівномірні ПОВІДОМЛЕННЯ з п'яти літер, то загАльна кількість пятілітерніх Повідомлень дорівнює кількості розміщень Із 32 по 5, тоб.
Отже, одне ПОВІДОМЛЕННЯ несе в СЕРЕДНЯ біт ІНФОРМАЦІЇ.
Із викладеня раніше зрозуміло, что формула (2.10) опісує ентропію дискретних Повідомлень. Аналіз показує, что ентропія дискретних Повідомлень має Такі основні Властивості:
. Оскількі ймовірності появи окрем Повідомлень є невідємнімі и лежати у проміжку, то ентропія є величина дійсна, додатного и обмеже.
. Ентропія детермінованих Повідомлень дорівнює нулеві.
. Ентропія рівномірніх Повідомлень максимальна и дорівнює, причому вона зростає з ростом кількості Повідомлень.
. Если два ПОВІДОМЛЕННЯ є альтернативними, тоб смороду мают властівість:, то ентропія может змінюватіся у межах від нуля до одініці (у двійковіх Одиниця).
Справді, у цьом випадка ентропія дорівнює:
. (2.11)
Із (11) віпліває, что ентропія дорівнює нулеві за умів:
а), б),. (2.12)
Если Обидва ПОВІДОМЛЕННЯ є рівномірнімі (тоб), то ентропія набірає максимального значення, Яке дорівнює одініці:
біт.
неперервно ПОВІДОМЛЕННЯ Можемо розглядаті як випадкове величину, котра характерізується одновімірною Густиня розподілу ймовірності (рис.2.5).
Замінімо функцію ступінчастою (рис.2.9) так, щоб усередіні кожної ділянки дотрімувалася Умова:
. (2.13)
Рис. 2.9 Одновімірна Густина розподілу ймовірностей неперервно ПОВІДОМЛЕННЯ
вирази (2.13) опісує ймовірність потрапляння віпадкової величини в Інтервал при зміні неперервно ПОВІДОМЛЕННЯ дискретним. Очевидно, что така заміна буде точніша, чим меншими будут інтервалі.
Ентропія отриманий дискретного ПОВІДОМЛЕННЯ, згідно з (11), Визначи у двійковіх Одиниця, дорівнює:
. (2.14)
Для визначення ентропії неперервно ПОВІДОМЛЕННЯ здійснімо граничний Перехід при:
. (2.15)
У (2.15) враховано, что
.
З вирази (2.15) видно, что ентропія неперервно ПОВІДОМЛЕННЯ має Дві складові, дере з якіх візначає закон розподілу ймовірностей ПОВІДОМЛЕННЯ, а друга прямує до нескінченності при. Прот в реальних умів відлік Повідомлень на Приймальна пункті ведеться у дискретних точках, ТОМУ ЩО апаратура має скінченну роздільну здатність та скінченну точність, а Інтервал має скінченну величину. Це означає, что друга ськладової у (15) є постійною величиною и НЕ розглядається.
Отже, ентропію неперервно ПОВІДОМЛЕННЯ візначає перша ськладової (2.15), якові назівають діференціальною ентропією.
. (2.16)
Зауважімо, что ЯКЩО величина є безрозмірна, то діференціальну ентропію можна візначіті у двійковіх Одиниця - бітах. Ha Відміну Від ентропії дискретних Повідомлень величина поклади від масштабом x, тоб від Вибори одиниць вімірювання. Зокрема, может прійматі відємні значення. Тому ди...
