нга збільшує число біт, необхідніх для передачі значення МКЯ, з 4 до 7, то коефіцієнт стиснения 2: 1, Який БУВ Ранее досягнутості за рахунок использование методу МКЯ, зменшіть до 8/7 або 1,14: 1. Таке Зменшення результуюча коефіцієнта стиснения є та ціна, якові доводитися платіті за Підвищення перешкодозахіщеності.
1.3 Елементи Теорії информации
У Розділі 1.1 Було представлено декілька Шляхів Зменшення обсягів про ємніх даних, необхідніх для представлення зображення. Природно вінікає Наступний питання: наскількі много даних в дійсності та патенти для представлення зображення? Іншімі словами, чі існує Мінімальна Кількість даних, якіх нужно для полного Опису зображення без Втратили информации? Теорія информации дает математичну основу для ВІДПОВІДІ на це та блізькі Йому запитання.
1.3.1 Вимірювання информации
Фундаментальна Передумови Теорії информации Полягає в тому, что джерело информации может буті описів як імовірнісній процес, Який может буті вімірюванімі природнім чином. У відності з ЦІМ припущені кажуть, что Випадкове Подія Е, что з'являється з імовірністю Р (Е), містіть одиниць информации.
Значення Р (Е) часто назівають кількістю информации в подію Е. Взагалі Кажучи, приписування події Е кількості информации тім более, чім менше ймовірність Є. Если Р (Е)=1 (тобто Подія вінікає завжди) , то І (Е)=0 и данім обставинам НЕ пріпісують ніякої информации. Це означає, что немає ніякої невізначеності, пов'язаної з подією, то ПОВІДОМЛЕННЯ про том, что дана Подія поменшало, не Несе ніякої информации. Однак, если Р (Е)=0,99, то ПОВІДОМЛЕННЯ про том, что Е сталося, Вже передает Якийсь невелика Кількість информации. ПОВІДОМЛЕННЯ ж, что Е не відбулося, передает істотно более информации, оскількі ця Подія значний рідше.
Підстава логарифма в (1.3-1) задає Одиниця виміру кількості информации. Если вікорістовується підставу m, то говорять про одиниці вимірювання по підставі m. Колі основа дорівнює 2, одиниця информации назівається біт. Зауважімо, что если Р (Е)=1/2, то, или одному біту. Таким чином, біт є Кількість информации, что передається повідомленням про ті, Що сталося Одне з двох можливіть рівноймовірно подій. Простий приклад ПОВІДОМЛЕННЯ такого роду - ПОВІДОМЛЕННЯ про результат підкідання монети.
1.3.2 Канал передачі информации
Колі інформація передається между Джерелом и одержувачем информации, то говорять, что джерело информации з єднаній з одержувачем каналом передачі информации (або просто каналом). Канал є деяке Фізичне середовище, что з єднує джерело з одержувачем. Це может буті телефонна лінія, середовище Розповсюдження електромагнітніх ХВИЛЯ, або провідник у комп'ютері. На Ріс.1.7 представлена ??математична модель системи передачі информации. Тут думки Інтерес параметром є Пропускна здатність системи, обумовлена ???? як можлівість системи передаваті ПОВІДОМЛЕННЯ.
Рис. 1.7.Проста система передачі информации
Припустиме, что джерело информации на Рис. 1.7 генерує Випадкове послідовність сімволів з кінцевого або рахункового набору можливіть сімволів, тобто вихід джерела є дискретна Випадкове величина. Набір вихідних сімволів назівають алфавітом джерела А, а елементи набору - символами або літерами. Імовірність того, что джерело породжує символ дорівнює, причому
Для Опису сукупності ймовірностей сімволів джерела зазвічай вікорістовується J-мірній вектор ймовірностей. Тім самим джерело информации Повністю опісується кінцевім ансамблем повідомлень (А, z).
У відповідностей зі Зроблений припущені и формулою (1.3-1), Кількість информации, что передається Джерелом при появі одного символу, буде. Если зявляються k сімволів джерела, то, согласно закону великих чисел, при достаточно великих k символ буде з'являтися на віході (в СЕРЕДОВИЩА-ньом) разів. Тім самим середня Кількість информации, передається помощью k сімволів джерела, складі величину
Середня Кількість информации, что пріпадає на один символ джерела и позначуване, одне
Цю величину назівають ентропією або невізначеністю джерела. Вона візначає Середнев Кількість информации (в сістемі Одиниця з основою m), одержуваної при спостереженні одного символу джерела. Колі ця величина более, то пов'язана З джерела невізначеність, а значити, и Кількість информации, более. Колі символи джерела рівноймовірно, что задається рівнянням (1.3-3) ентропія, або невізначеність, пріймає максимальне значення, и тоді джерело передает максимально можливе Середнє Кількість информации на один символ.
побудувалося модель джерела информации, мі можемо легко візначіті ...
