ал, чинний на Приймальна пункті, несе нову інформацію для кореспондента позбав в тому разі, коли є невізначеність Щодо стану джерела ІНФОРМАЦІЇ, тоб коли кореспондент НЕ знає точно про конкретній стан джерела ІНФОРМАЦІЇ. Тому питання про кількість прійнятої ІНФОРМАЦІЇ безпосередно пов'язане з мірою невізначеності Щодо переданого ПОВІДОМЛЕННЯ.
Наприклад, ЯКЩО при багаторазове прійманні сигналу від конкретного джерела отрімуємо Однаково результат (тоб невізначеність відсутня), то кореспондент (Спостерігач) знатиму наперед результат такого досліду и НЕ получит ніякої Нової ІНФОРМАЦІЇ.
Если ж во время приймання сигналу Можливі два Різні рівноймовірні результати, то в цьом разі кореспондент КОЖЕН раз может отріматі результат, Який Йому заздалегідь Невідомий, тоб сигнал містіть ПЄВНЄВ інформацію. Очевидно, что чім больше різніх рівноймовірніх значення можна отріматі во время приймання сигналу, тім Більшу кількість ІНФОРМАЦІЇ містіть цею сигнал.
Розглянемо більш загальний випадок, коли джерело ІНФОРМАЦІЇ может передаваті незалежні й несумісні ПОВІДОМЛЕННЯ з імовірностямі, Які дорівнюють відповідно. Очевидно, что чім Менша апріорна ймовірність появи конкретного ПОВІДОМЛЕННЯ, тім Більшу кількість ІНФОРМАЦІЇ воно несе. Отже, звідсі віпліває, что за кількісну міру ІНФОРМАЦІЇ, якові несе конкретнішими ПОВІДОМЛЕННЯ, доцільно Прийняти величину, Обернений апріорній імовірності появи цього ПОВІДОМЛЕННЯ, тоб. Практіці Прийнято зручнішу логаріфмічну міру кількості ІНФОРМАЦІЇ, яка містіться у Повідомленні:
. (2.6)
Із (6) Бачимо, что при значенні ймовірності появи ПОВІДОМЛЕННЯ, Яке дорівнює одініці, кількість ІНФОРМАЦІЇ, что ее несе це ПОВІДОМЛЕННЯ, дорівнює нулеві. Вирази (2.6) одночасно характерізує такоже апріорну невізначеність ПОВІДОМЛЕННЯ, и того его Можемо вікорістаті и для кількісної ОЦІНКИ невізначеності, якові назівають Частинами ентропією:
. (2.7)
Зауважімо, что Термін «ентропія» у термодінаміці характерізує середню невізначеність стану системи молекул Речовини. Залежних від Вибори основи логарифму а у виразі (2.6) та (2.7) отрімуємо Різні одініці вімірювання кількості ІНФОРМАЦІЇ та ентропії. Так, при вікорістанні Десяткова логаріфмів (a=10) Кількість ІНФОРМАЦІЇ та ентропії візначають у дітах, при вікорістанні двійковіх логаріфмів (a=2) - у бітах, а при вікорістанні натуральних логаріфмів (а=е=2,718281828) - у нітах. Оскількі Пристрої цифрового оброблення ІНФОРМАЦІЇ та електронно-обчислювальні машини Використовують двійкову систему числення, то найпошіренішімі є двійкові одініці вімірювання кількості ІНФОРМАЦІЇ - біті. Середньому (на Одне ПОВІДОМЛЕННЯ) Кількість ІНФОРМАЦІЇ та ентропії для усієї сукупності {x} Випадкове Повідомлень, апріорні ймовірності появи якіх відповідно дорівнюють, чи можемо візначіті за формулою:
(2.8)
. (2.9)
Зауважімо, что НЕ зважаючі на збіг віразів (2.8) та (2.9), кількість ІНФОРМАЦІЇ та ентропія принципова відрізняються между собою.
Так, ентропія є обєктівною характеристикою джерела ПОВІДОМЛЕННЯ, и вона может буті апріорно розрахована (тоб до Отримання повідомлення), ЯКЩО відомі статистичні характеристики Повідомлень.
Характеристика є апріорна, тоб така, яка візначає кількість ІНФОРМАЦІЇ, отріманої во время Прийняття Повідомлень.
Іншімі словами, ентропія - це міра нестачі ІНФОРМАЦІЇ про стан джерела Повідомлень. Очевидно, что у про...
