Міносвіти Росії
Федеральне державне бюджетне освітня установа
Вищої професійної освіти
«Пензенський державний технологічний університет»
(ПензГТУ)
Факультет «Інформаційних та освітніх технологій»
Кафедра «Інформаційні технології та системи»
Дисципліна «Основи теорії інформації»
Контрольна робота
Дисципліна «Основи теорії інформації»
Виконав: студент групи 13ІС2Б
Чинков М.Ю
Перевірив: ст. викладач каф. ІТС
Піскаев К.Ю
Пенза 2015
ВСТУП
Мета даної контрольної роботи - актуалізація знань в предметі «Основи теорії інформації».
У рамках контрольної роботи було виконано 5 завдань у відповідності з моїм варіантом (варіант №23):
. Визначити середню кількість інформації, що міститься в повідомленні, використовуваному три незалежні символу S1, S2, S3. Відомі ймовірності появи символів p (S1)=p1, p (S2)=p2, p (S3)=p3. Оцінити надмірність повідомлення.
. У умови попередньої задачі врахувати залежність між символами, яка задана матрицею умовних ймовірностей P (Si/Sj).
. Провести кодування за однією і блоками по дві букви, використовуючи метод Шеннона - Фано. Порівняти ефективності кодів (величина ентропії). Дані взяти із задачі 1.
. Алфавіт переданих повідомлень складається з незалежних букв Si. Ймовірності появи кожної букви в повідомленні задані. Визначити і порівняти ефективність кодування повідомлень методом Хаффмана при побуквенном кодуванні і при кодуванні блоками по дві букви.
. Визначити пропускну спроможність каналу зв'язку, по якому передаються сигнали Si. Перешкоди в каналі визначаються матрицею умовних ймовірностей P (Si/Sj). За секунду може бути передано N=10 сигналів.
Прості обчислення і кодування повідомлень в завданнях були зроблені вручну, більш складні були зроблені за допомогою середовища розробки MATLAB R2014a. Формули і вирішення завдань були введені за допомогою програми MathType.
.
1. Визначення середньої кількості ІНФОРМАЦІЇ
Ентропія джерела - середня кількість інформації в одному повідомленні. Не слід плутати ентропію з кількістю інформації в одному конкретному повідомленні. Якщо в джерелі є безліч повідомлень, точно знати про кожен з них необов'язково. У цьому полягає перевага середнього значення кількості інформації. Усереднення дозволило Шеннону оцінити як рідкісні, так і часті повідомлення. Ентропія характеризує джерело повідомлення. Аналогічно можна отримати і ентропійних характеристику сигналу.
Завдання: визначити середню кількість інформації, що міститься в повідомленні, використовуваному три незалежні символу S1, S2, S3. Відомі ймовірності появи символів p (S1)=p1, p (S2)=p2, p (S3)=p3. Оцінити надмірність повідомлення. Варіант №23: p1=0.12; p2=0.13; p3=0.75.
Рішення. Максимальна середня кількість інформації на символ повідомлення має місце при равновероятном розподілі та одно, згідно з формулою
Розрахуємо середню кількість інформації на символ повідомлення при заданих ймовірностях за формулою, де n - число символів в алфавіті, p - імовірність появи події.
Оцінимо надмірність повідомлення за формулою.
Максимальна ентропія.
Реальна ентропія.
Надмірність повідомлення.
2. ЗАЛЕЖНІСТЬ МІЖ СИМВОЛАМИ МАТРИЦІ умовну ймовірність
У більшості реальних випадків поява елемента хi в повідомленні залежить від того, який елемент хj був попереднім. Взаємозв'язок елементів в повідомленні характеризується матрицею умовних ймовірностей.
Завдання: в умові попередньої задачі врахувати залежність між символами, яка задана матрицею умовних ймовірностей P (Si/Sj).
Варіант №23.
Рішення. Розрахуємо ентропію джерела за формулою.
Підставами числові дані, використовуючи завдання 1.
Обчислення ентропії в програмі MATLAB.
=p1*((0.7*log2(0.7)+0.3*log2(0.3)))+p2*((0.5*log2(0.5)+0.5*log2(0.5))++p3*(-(0.1*log2(0.1)+0.5*log2(0.5)+0.4*log2(0.4)))...
