Реферат Поняття і властивості інформації, її види

мова, передана модульованої звуковою хвилею; параметром сигналу в цьому випадку є тиск, що створюється цією хвилею в точці знаходження приймача - людського вуха.

Безперервне повідомлення може бути представлено безперервної функцією, заданої на деякому інтервалі. Безперервне повідомлення можна перетворити в дискретне (така процедура називається дискретизацією). З нескінченної кількості значень параметра сигналу вибирається їх певне число, яке наближено може характеризувати інші значення. Для цього область визначення функції розбивається на відрізки рівної довжини і на кожному з цих відрізків значення функції приймається постійним і рівним, наприклад, середньому значенню на цьому відрізку. У результаті отримаємо кінцеве безліч чисел. Таким чином, будь-яке безперервне повідомлення може бути представлено як дискретне, інакше кажучи, послідовністю знаків деякого алфавіту.

Можливість дискретизації безперервного сигналу з будь бажаною точністю (для зростання точності достатньо зменшити крок) принципово важлива з точки зору інформатики. Комп'ютер - цифровий машина, тобто внутрішнє подання інформації в ньому дискретно. Дискретизація вхідної інформації (якщо вона неперервна) дозволяє зробити її придатною для комп'ютерної обробки.

Одиниці кількості інформації: імовірнісний і об'ємний підходи

Визначити поняття В«кількість інформаціїВ» досить складно. У вирішенні цієї проблеми існують два основні підходи. Історично вони виникли майже одночасно. В кінці 40-х років XX століття один з основоположників кібернетики американський математик Клод Шеннон розвинув імовірнісний підхід до вимірюванню кількості інформації, а роботи по створенню ЕОМ привели до В«об'ємномуВ» підходу.

Імовірнісний підхід

Розглянемо як приклад досвід, пов'язаний з киданням правильної гральної кістки, що має N граней. Результати даного досвіду можуть бути наступні: випадання межі з одним з наступних знаків: 1, 2,. . . N .

Введемо в розгляд чисельну величину, що вимірює невизначеність - ентропію (позначимо її H ). Згідно розвиненою теорії, у разі равновероятного випадання кожної з граней величини N і H пов'язані між собою формулою Хартлі

H = log 2 N .

Важливим при введенні будь-якої величини є питання про тому, що приймати за одиницю її виміру. Очевидно, H дорівнюватиме одиниці при N = 2. Інакше кажучи, в якості одиниці приймається кількість інформації, пов'язане з проведенням досвіду, що складається в отриманні одного з двох рівноймовірно фіналів (прикладом такого досвіду може служити кидання монети при якому можливі два результати: В«орелВ», В«решкаВ»). Така одиниця кількості інформації називається "біт".

У разі, коли ймовірності P i результатів досвіду (у прикладі, наведеному вище - кидання гральної кістки) неоднакові, має місце формула Шеннона

. br/>

У разі равновероятности подій, і формула Шеннона переходить у формулу Хартлі.

Як приклад визначимо кількість інформації, пов'язане з появою кожного символу в повідомленнях, записаних російською мовою. Будемо вважати, що російський алфавіт складається з 33 букв і знака В«пробілВ» для розділення слів. За формулою Хартлі H = log 2 34 ~ 5.09 біт. p> Однак, у словах російської мови (так само як і в словах інших мов) різні літери зустрічаються неоднаково часто. Нижче наведена табл. 3 ймовірностей частоти вживання різних знаків російського алфавіту, отримана на основі аналізу дуже великих за обсягом текстів.

Скористаємося для підрахунку H формулою Шеннона: H ~ 4.72 біт. Отримане значення H , як і можна було припустити, менше обчисленого раніше. Величина H , яка обчислюється за формулою Хартлі, є максимальною кількістю інформації, яка могла б припадати на один знак. Аналогічні підрахунки H можна провести і для інших мов, наприклад, використовують латинський алфавіт - англійської, німецької, французької та ін (26 різних букв і В«пробілВ»). За формулою Хартлі отримаємо H = log 2 27 ~ 4.76 біт. <В 

Таблиця 1. Частотність букв російської мови

i

Символ

P (i)

I

Символ

P (i)

I

Символ

P (i)

1

_

0.175

12

Л

0.035