у вони мали переважно прикладний характер.
Етимологія слова «інформація» походить від латинського informatio - ознайомлення, роз'яснення, уявлення, поняття. До XX століття воно зазвичай використовувалося як синонім «обізнаності», «відомості», «повідомлення». Бурхливий розвиток всіляких засобів зв'язку (телеграф, телефон, радіо, телебачення та ін.) Висунуло низку нагальних проблем: як забезпечити надійність передачі повідомлень при наявності перешкод, який спосіб кодування повідомлення застосовувати в тому чи іншому випадку, як закодувати повідомлення, щоб забезпечити передачу сенсу і т.д. Ці проблеми вимагали розробки теорії передачі повідомлень. Одним з її основних питань було питання про можливість вимірювання кількості інформації.
Спроби кількісного виміру інформації робилися неодноразово. Перші важливі досягнення були отримані американцями Х. Найквистом (1924 г.) і Р. Хартлі (1928 р). Вони визначили логарифмічну міру інформації для повідомлень, що складаються з послідовності будь-якого числа символів. Англійський математик Р. Фішер (1938 г.) ввів аналогічну точну міру для потреб прикладної статистики. Однак найбільш важливий крок у розробці основ теорії інформації був зроблений в 1948 році видатним американським інженером і математиком Клодом Шенноном [2].
Узагальнюючи і розширюючи вчення своїх попередників, зокрема теорію Р. Хартлі, К. Шеннон у своїй роботі «Математична теорія зв'язку» використовував теоретико-імовірнісний підхід. Поняття інформації він визначав формально через ентропію, що міститься в переданих повідомленнях. За одиницю інформації Шеннон прийняв те, що згодом охрестили «бітом» (слово було запропоновано Тьюки). Облік ймовірностей символів дозволив йому отримати більш точну формулу для кількості інформації в реальних повідомленнях, приблизно вдвічі скорочує час їх передачі.
Шенноном була запропонована загальна схема системи зв'язку, що складається з п'яти елементів (джерела інформації, передавача, каналу передачі сигналу, приймача і адресата), сформульовані теореми про пропускної здатності, завадостійкості, кодуванні та ін. Його ідеї швидко поширювали свій вплив на самі різні галузі знань.
Однак теорія інформації К. Шеннона не була універсальною. «Статистичне поняття інформації і заснована на ньому міра її кількості висловлюють насамперед структурно-синтаксичну сторону передачі інформації, тобто відносини сигналів, знаків, повідомлень і т.д. друг до друга. З ним тому пов'язано певне огрубіння ідеї інформації - відволікання від сенсу, цінності для одержувача, різнорідності та інших характеристик переданих повідомлень »[3, с. 183].
Обмеженість цієї теорії ілюструють багато парадокси. Наприклад, аналіз статистичної інформації «по Шеннону» показує, що текст однієї і тієї ж книги, надрукований з більшою частотою рядків на одній сторінці, повинен нести в собі велику інформацію, ніж вихідний. Насправді це, звичайно, не так. У такому випадку, слід визнати, що найбільшою інформацією володіє випадкова, безсистемна послідовність літер, що найбільшу інформацію несе в собі текст, позбавлений всякого сенсу [4, с. 216-217].
Усвідомлення обмеженості теорії інформації Шеннона призвело до виникнення інших підходів у її дослідженні. Поряд з ентропійних, найбільш вживаними серед них є: алгоритмічний, комбінаторний, структурний, семантичний і прагматичний. Останні два визначають якісні характеристики інформації.
Семантична концепція інформації виникла як спроба вимірювання сенсу повідомлень у формі суджень, які є носіями знання і витлумачених людиною. Для неї найбільш важливим виявляється аналіз змістовних характеристик інформації. При цьому «семантична інформація висловлювання певної мови виключає деякі можливі світи, альтернативи, що виражаються засобами даної мови: чим більше альтернатив виключає висловлювання, тим більше воно семантично інформативно» [3, с. 195].
Розвиток семантичних теорій інформації в чому було обумовлено прогресом теорії «значення» мовних виразів, насамперед їхньої логіко-семантичних варіантів. Першою такою спробою стала теорія Р. Карнапа та І. Бар-Хіллела (1952 р). Більшість подальших семантичних інтерпретацій поняття інформації виходять з неї. Найбільш важливу роль у них відіграють поняття «опис можливого стану» предмета міркування і «індуктивна ймовірність». Абсолютна інформаційний зміст пропозиції вони визначали логічної ймовірністю його істинності [3, с. 196-217].
Незабаром, однак, було відмічено, що проблема визначення ймовірнісних мір і заходів інформації не можуть вирішуватися на чисто логічних підставах. Фінський філософ і логік Я. Хінтікка (1968 г.) запропонував її рішення на основі розрізнення понять «поверхнева» і «глибинна» інформація, що звертаються один в одного в процесі пізнанн...
