ика вимірювання об'єму переданої інформації. Шеннон ввів таку метрику H, звану ентропією джерела повідомлень (що має n можливих вихідних значень). Ентропія визначається як середня кількість інформації, що припадає на один вихід джерела, і виражається наступним чином:
біт/вихід джерела.
Тут рi ймовірність i-того вихідного значення і? рi = 1. Якщо повідомлення двійкове або джерело має тільки два можливих вихідних значення з імовірностями р і q = (1-р), вираз для ентропії прийме наступний вигляд:
Неоднозначність і ефективна швидкість передачі інформації
Нехай за допомогою бінарного симетричного каналу зі швидкістю 1000 двійкових символів/с відбувається передача інформації, а апріорна ймовірність передачі нуля або одиниці однакова. Припустимо також, що, ймовірність прийому одиниці дорівнює 1/2 (те ж саме? Для нуля). У такому випадку половина прийнятих символів повинна випадково виявитися правильною, і може створитися враження, що система забезпечує швидкість 500 біт/с, хоча насправді ніякої інформації не передається. Однаково "хороший" прийом дає і використання "інформації", що надійшла з каналу, і генерація цієї "інформації" методом підкидання правильної монети. Втраченої є інформація про коректність переданих символів. Для оцінки невизначеності в прийнятому сигналі Шеннон використовує поправочний коефіцієнт, який називає неоднозначністю. Неоднозначність визначається як умовна ентропія повідомлення X, обумовлена ​​даним повідомленням Y, або
де X повідомлення, передане джерелом, Y? прийнятий сигнал, Р (Х, У)? спільна ймовірність X і Y, а Р {Х | У)? умовна ймовірність X при прийомі Y. Неоднозначність можна представити як невпевненість у передачі X за умови прийняття Y. Для каналу без помилок Н {Х | У) = 0, оскільки прийняття повідомлення Y абсолютно точно визначає X. Для каналу з ненульовою ймовірністю виникнення символьної помилки Н {Х | У)> 0, оскільки канал вносить деяку невизначеність. p> Шеннон показав, що середнє ефективне кількість інформації H eff в приймачі виходить шляхом вирахування неоднозначності з ентропії джерела. Отже,
Площина "...
