зперервних повідомлень.
1. Розрахунок параметрів джерела безперервних повідомлень
Умова завдання. На вхід АЦП надходить випадковий первинний сигнал, потужність якого PB = 0,94 (В2), а ширина спектра FС = (Гц). Щільність розподілу сигналу підпорядкована нормальному закону розподілу. Середнє значення випадкового первинного сигналу дорівнює нулю. p> Визначити:
1. Диференціальну ентропію джерела безперервних повідомлень.
. Продуктивність джерела безперервних повідомлень
Диференціальна ентропія джерела безперервних повідомлень.
Ентропія - математичне сподівання кількості інформації.
Нехай - неперервна випадкова величина з щільністю розподілу ймовірності. Ця величина є відліком неперервної випадкової функції в деякий момент часу t. Розіб'ємо діапазон зміни безперервної випадкової величини на кінцеве число N малих інтервалів шириною. Оскільки мало, ймовірність того, що випадкова величина знаходиться в межах i-ого відрізка
(1.1)
Аналогічно можна знайти ймовірність того, що випадкова величина буде перебувати в межах будь-якого іншого відрізка.
Тоді, розташовуючи поруч дискретних значень ймовірностей, можна обчислити ентропію.
(1.2)
де N - число отриманих дискретних значень. Збільшуючи число N за рахунок зменшення, в межі отримаємо вираз для ентропії безперервної випадкової величини:
В
(1.3)
Перший доданок отриманого виразу має кінцеве число значень.
Позначимо його:
(1.4)
Другий доданок залежить від кроку квантування і при прагне до. Це означає, що середня кількість інформації, що міститься в одному відліку неперервної випадкової функції (повідомленні) також дорівнює нескінченності. p> З цієї причини величина не може бути кількісної мірою, яка дозволила б оцінити обсяг інформації, що міститься в одному відліку неперервної випадкової функції (повідомленні).
В якості цієї заходи вживають перший доданок виразу (1.3) і відкидають друге. Т.к. перший вираз залежить від диференціальної щільності розподілу ймовірності, воно отримало назву диференціальної ентропії і позначається. Диференціальна ентропія дозволяє оцінити середню кількість інформації, яка міститься в безперервних повідомленнях або безперервних сигналах. p> Для двох неперервних випадкових величин та, які характеризуються двовимірної щільністю розподілу ймовірності, можна визначити умовну диференціальну ентропію.
Умовна диференціальна ентропія неперервної випадкової величини при відомій випадкової величиною:
(1.5)
Умовна диференціальна ентропія неперервної випадкової величини при відомій випадкової величиною:
(1.6)
Диференціальну ентропію, на ві...
