n align="justify">) = 0,15; p ( x 4 ) = 0,1; p ( x 5 ) = 0,1; p ( x 6 ) = 0,1; p < span align = "justify"> ( x 7 ) = 0, 01; p ( x 8 ) = 0,01; p ( x 9 ) = 0,017867. Визначити число n значень випадкової величини, при яких ентропія H p (< i align = "justify"> X ) рівномірного розподілу буде дорівнює ентропії H ( X ) заданого розподілу.
Рішення:
Користуючись формулою Шеннона, знайдемо ентропію:
В
Підставляючи значення у вказану формулу, отримуємо:
В
Рівномірний розподіл передбачає рівні ймовірності всіх можливих результатів.
Hp (X) = log2n
В
Відповідь:.
Завдання № 1.41
Знайти ентропію шуму в двійковому симетричному каналі без пам'яті, якщо ентропія джерела на вході каналу біт, ентропія ансамблю на виході каналу біт, ненадійність каналу біт.
Рішення:
Ентропія шуму в двійковому симетричному каналі без пам'яті обчислюється за формулою (1.17) лекції:
В
Таким чином, для того щоб скористатися вищевказаної формулою для обчислення ентропії шуму в двійковому симетричному каналі без пам'яті необхідно знайти кількість переданої інформації. Для цього скористаємося формулою (1.13) лекції:
В
Підставивши дану формулу в раніше подану, отримаємо необхідне вираження для обчислення ентропії шуму в двійковому симетричному каналі без пам'яті:
В
Підставивши у вказане вираз набір заданих параметрів отримаємо відповідне значення ентропії шуму в двійковому симетричному каналі без пам'яті:
(біт)
Відповідь: ентропія шуму в двійковому симетричному каналі без пам'яті становить біт .
Завдання № 1.76
Дискретний джерело вибирає повідомлення з ансамблю. Тривалості повідомлень відповідно рівні: t u1 = 0,8 c, <...
