дміну від ентропії дискретної випадкової величини, не можна розглядати як міру власної інформації. Вона є відносною мірою невизначеності і не володіє низкою її властивостей. Зокрема, вона може бути як позитивною, так і негативною. Інформаційний сенс має не сама диференціальна ентропія, а різниця двох диференціальних ентропій, чим пояснюється її назва. Втім, властивість адитивності зберігається і для диференціальної ентропії. Значення диференціальної ентропії залежить від масштабу випадкової величини, а, отже, від вибору одиниці її виміру. p> Також, диференціальна ентропія гауссовской випадкової величини не залежить від її математичного сподівання і монотонно зростає із збільшенням дисперсії.
Продуктивність джерела безперервних повідомлень.
Нехай на виході безперервного каналу зв'язку відтворений сигнал відрізняється від переданого сигналу на величину різниці.
Якщо середній квадрат різниці не перевищує деякого заданого числа, то сигналу і вважаються еквівалентними.
Мінімальна кількість інформації, що міститься в прийнятому сигналі b * (t) щодо b (t), при якому вони ще еквівалентні, називається-ентропією:
, (1.7)
де - диференціальна ентропія сигналу b (t), передається по каналу зв'язку в плині часу T; - умовна диференціальна ентропія цього сигналу.
Продуктивність джерела безперервних повідомлень - ентропія, віднесена до тривалості інтервалу Т, протягом якого передається сигнал b (t):
, (1.8)
де.
Розрахунок.
1) Щільність розподілу випадкового первинного сигналу, що надходить на вхід АЦП, полагоджена нормальному закону розподілу:
(1.9)
Де - середнє значення первинного сигналу, рівне за умовою нулю;
-дисперсія (потужність).
Для визначення диференціальної ентропії скористаємося формулою (1.4):
В В
Перший інтеграл дорівнює 1, другий -. Тому:
В
Враховуючи, що порівнянно з, і підставивши, отримаємо диференціальну ентропію джерела безперервних повідомлень:
В
) Для визначення продуктивності джерела безперервних повідомлень визначимо потужність перешкоди на виході каналу за формулою:
, (1.10)
де p - ймовірність помилки при передачі двійкової інформації по каналу зв'язку; - інтервал квантування; n - число розрядів двійкових кодових слів на виході АЦП.
Так як 0,023,, а n = 8, то
В
Отже, продуктивність джерела безперервних повідомлень:
(1.11)
Таким чином,
В
. Дискретизація і перетворення випадкового процесу в АЦП
Умова завдання.
Випадковий процес в аналогово-цифровому перетворювачі (АЦП) дискредитується і перетвориться в двійкові числа. Шкала квантування лінійна з числом рівнів L = 256. p> Визначити:
1. Інтервал дискретизації.
.
