/P>
Американський інженер Р. Хартлі в 1928 р процес отримання інформації розглядав як вибір одного повідомлення з кінцевого наперед заданого безлічі з N рівноймовірно повідомлень, а кількість інформації I, що міститься в обраному повідомленні, визначав як двійковий логарифм N.
Розглянемо як приклад досвід, пов'язаний з киданням правильної гральної кістки, що має N граней. Результати даного досвіду можуть бути наступні: випадання межі з одним з наступних знаків: 1, 2,... N.
Введемо в розгляд чисельну величину, що вимірює невизначеність - ентропію (позначимо її H). Згідно розвиненої теорії, у разі равновероятного випадання кожної з граней величини N і H пов'язані між собою формулою Хартлі
H=log 2 N.
Важливим при введенні будь-якої величини є питання про те, що приймати за одиницю її виміру. Очевидно, H буде дорівнює одиниці при N=2. Інакше кажучи, в якості одиниці приймається кількість інформації, пов'язане з проведенням досвіду, що складається в отриманні одного з двох рівноймовірно результатів (прикладом такого досвіду може служити кидання монети при якому можливі два результати: «орел »,« решка »). Така одиниця кількості інформації і є «бітом».
Наведемо приклади рівноймовірно повідомлень: при киданні монети: випала решка raquo ;, випав орел raquo ;; на сторінці книги: кількість букв парне raquo ;, кількість букв непарне .
Визначимо тепер, чи є рівноімовірними повідомлення першою вийде з дверей будівлі жінка і першим вийде з дверей будівлі чоловік raquo ;. Однозначно відповісти на це питання не можна. Все залежить від того, про який саме будівлі йде мова. Якщо це, наприклад, станція метро, ??то ймовірність вийти з дверей першого однакова для чоловіка і жінки, а якщо це військова казарма, то для чоловіка ця ймовірність значно вище, ніж для жінки.
Для завдань такого роду американський учений Клод Шеннон запропонував в 1948 р іншу формулу визначення кількості інформації, що враховує можливу неоднакову вірогідність повідомлень в наборі.
Формула Шеннона:
I=- (p 1 log 2 p 1 + p 2 log 2 p 2 +... + p N log 2 p N),
де pi - імовірність того, що саме i-е повідомлення виділено в наборі з N повідомлень.
Ймовірність події А визначається формулою:
P (A)=m/n,
де m - число елементарних фіналів, благоприятствующих А; - число всіх можливих елементарних фіналів випробування.
Легко помітити, що якщо ймовірності p 1, ..., p N рівні, то кожна з них дорівнює 1/N, і формула Шеннона перетворюється на формулу Хартлі.
Розглянемо наступний приклад. Нехай при киданні несиметричною чотиригранної пірамідки ймовірності випадання граней будуть наступними: p 1=1/2, p 2=1/4, p 3=1/8, p 4=1/8, тоді кількість інформації, що отримується після кидка, можна розрахувати за формулою:
Для симетричною чотиригранної пірамідки кількість інформації буде: H=log24=2 (біт).
Зауважимо, що для симетричною пірамідки кількість інформації виявилося більше, ніж для несиметричною пірамідки. Максимальне значення кількості інформації досягається для рівноймовірно подій.
Приклади Імовірнісний підхід
.Как кількість інформації несе в собі повідомлення про те, що потрібна вам програма знаходиться на одній з восьми дискет?
Дано: N=8 - кількість дискет (число подій)
Рішення:
N=2I
=2I
Відповідь: 3 біта
.Как кількість інформації отримає другий гравець при грі в хрестики-нулики на полі 8х8 після першого ходу першого гравця, що грає хрестиками?
Дано:
N=64 - кількість полів
Рішення:
N=2I
=2I
Відповідь: 6 біт
.Сообщеніе про те, що ваш друг живе на десятому поверсі несе в собі 4 біти інформації. Скільки поверхів у будинку?
Дано:
i=4 біта
Рішення:
N=2I
N=24
Відповідь: 16
.У коробці 5 синіх і 15 червоних кульок. Яка кількість інформації несе повідомлення, що з коробки дістали синя кулька?
Дано:
N1=5, N2=15
Рішення:
N=N1 + N2
N=15 + 5=20 всього кульок
K=5 - синіх (його дістали)
N/K=20/5=4
i=4
i=2 біта
Відповідь: 2 біти.
.Как кількість інформації про колір вийнятого кульки буде отримано, якщо в непрозорому пакеті зберігаються: 10 білих, 20 червоних, 30 синіх і 40 зелених кульок?
Дано:
K=10 + 20 + 30 + 40=100 - загальна кількість кульок
N1=10; N2=20; N3=30; N4=40;
Рішення:
Pбел. =10/100=0,1
...
