op>
23
Б
0.014
2
Про
0.090
13
К
0.028
24
Г
0.012
3
Е
0.072
14
М
0.026
25
Ч
0.012
4
Е
0.072
15
Д
0.025
26
Й
0.010
5
А
0.062
16
П
0.023
27
Х
0.009
6
І
0.062
17
У
0.021
28
Ж
0.007
7
T
0.053
18
Я
0.018
29
Ю
0.006
8
H
0.053
19
И
0.016
30
Ш
0.006
9
C
0.045
20
З
0.016
31
Ц
0.004
10
P
0.040
21
Ь
0.014
32
Щ
0.003
11
B
0.038
22
Комерсант
0.014
33
Е
0.003
34
Ф
0.002
Розглянемо алфавіт, що складається з двох знаків 0 і 1. Якщо вважати, що зі знаками 0 і 1 в двійковому алфавіті пов'язані однакові ймовірності їх появи ( P (0) = P (1) = 0.5), то кількість інформації на один знак при двійковому кодуванні буде дорівнює
H = log 2 2 = 1 біт.
Таким чином, кількість інформації (у бітах), укладену в двійковому слові, дорівнює числу двійкових знаків у ньому.
Об'ємний підхід
У двійковій системі числення знаки 0 і 1 називають бітами (від англійського виразу Binary digiTs - виконавчі цифри). У комп'ютері біт є найменшою можливою одиницею інформації. Обсяг інформації, записаної двійковими знаками в пам'яті комп'ютера або на зовнішньому носії інформації, підраховується просто за кількістю необхідних для такого запису двійкових символів. При цьому, зокрема, неможливо неціле число бітів (у відміну від імовірнісного підходу).
Для зручності використання введені і більші, ніж біт, одиниці кількості інформації. Так, двійкове слово з восьми знаків містить один байт інформації . 1024 байти утворюють кілобайт (Кбайт), 1024 кілобайти - мегабайт (Мбайт), а 1024 мегабайти - гігабайт (Гбайт).
Між імовірнісним і об'ємним кількістю інформації співвідно...
