кількість інформації необхідно ще отримати, щоб повідомлення стало достовірно. Така кількість інформації було втрачено в каналі зв'язку при передачі повідомлення.
Кількість інформації, отримане одержувачем:
В
Взаємна інформація - кількість переданої інформації міститься в при прийомі:
В
Нас цікавить середня кількість інформації, доставленої на вихід каналу одним прийнятим повідомленням:
В В В
- ентропія джерела, тобто середня кількість інформації, яка міститься в кожному переданому символі.
- ентропія втрат, тобто середня кількість інформації, яке втрачається при передачу символу.
- середня кількість інформації, яке доставляється споживачеві при прийомі одного повідомлення.
В
- суміш корисного повідомлення з шумом
- ентропія вихідного каналу, середня кількість інформації, яка міститься в одному вихідному символі (суміші сигналу з перешкодою).
- ентропія шуму, середня кількість інформації, яке додається шумом.
В В
За час отримуємо кількість інформації:
В
Швидкість передачі інформації:
В
,
В
- пропускна здатність.
Значення залежать від співвідношення сигнал/шум, способу обробки сигналу, види сигналу, виду канального кодування і матриці перехідних ймовірностей.
Пропускна здатність двійкового симетричного каналу зв'язку з перешкодами
Є і , І
В
Канал називається симетричним, якщо ймовірності помилкових переходів рівні між собою.
В В В В В В
Пропускна здатність в такому випадку залежить тільки від ймовірності помилки і стає рівною нулю, якщо ймовірність помилки
В
Швидкість передачі інформації
Маємо безперервний канал зв'язку, в якому передається безперервне повідомлення (сигнал). У цьому каналі діє адитивна перешкода. У результаті на виході приймального пристрою ми маємо суміш
.
Розглянемо часовий інтервал T, на ньому ми передали кількість інформації, тоді
.
Будь-яке безперервне повідомлення, яке існує на кінцевому інтервалі T і має обмежений спектр можна замінити сукупністю дискретних відліків.
В
- число відліків.
Швидкість передачі
,
де - диференціальна ентропія одного відліку.
В
Пропускна здатність безперервного каналу з нормальним білим шумом. Формула Шеннона
На виході каналу суміш сигналу з шумом
В
- нормальний білий шум, описується одномірним законом розподілу ймовірностей
В В
- щільність потужності фізичного спектру.
Можна показати, що
В
Максимальної ентропією володіє джерело нормального білого шуму і значення ентропії якого дорівнює
В
- середньоквадратичне відхилення миттєвих значень.
- потужність шуму.
Якщо шум існує в смузі, то потужність шуму
.
Пропускна здатність
,
.
В
- сигнал на виході.
Так як - нормальний білий шум, то можна довести, що максимум буде в тому випадку, якщо, також буде процесом типу нормального білого шуму. У цьому випадку
,
.
Процес також повинен бути типу нормального білого шуму.
Тоді
В В
- формула Шеннона.
Якщо, то
В В
,
В В
В
Значення пропускної здатності прагне до постійної величиною, тому що потужність сигналу не залежить від ширини спектру і смуги пропускання, а потужність шуму прямопропорційна смузі пропускання.
Пропускна здатність безперервних каналів зв'язку при довільних спектрах сигналів і перешкод
Формула Шеннона була виведена за умови, що по каналу зв'язку передається шумоподібний сигнал типу білого шуму:
Більше загальний вигляд формули Шеннона
,
де - коефіцієнт форми сигналу.
Для прямокутних сигналів.
Для шумоподібних сигналів.
Для синусоїдального сигналу.
Якщо спектральна щільність потужності сигналу, а перешкоди, можна отримати формулу для випадку нерівномірних спектрів сигналів і перешкод.
Розглянемо нескінченно вузьку смугу частот у межах
Максимум досягається у разі, якщо
В
у всьому діапазоні.
На основі цього можна будувати алгоритм адаптивних систем зв'язку та радіолокації.
