justify"> Є один недолік-це визначення справедливо тільки в наближенні равновероятности всіх результатів. Це виконується далеко не завжди. У межі в цьому визначенні неймовірному результату прирівнюється неминучий. У 1948 р це виправив К. Шеннон.
В якості міри апріорної невизначеності системи (або переривчастою випадкової величини) в теорії інформації застосовується спеціальна характеристика, звана ентропією. Поняття про ентропії є в теорії інформації основним. Ентропією системи називається сума добутків ймовірностей різних станів системи на логарифми цих ймовірностей, взята з протилежним знаком:
Ентропія володіє рядом властивостей, які виправдовують вибір даного поняття в якості характеристики ступеня невизначеності. По-перше, звернення ентропії в нуль пояснюється достовірністю стану системи при інших-неможливих. По-друге, ентропія звертається в максимум при равновероятности станів, а при збільшенні числа станів - збільшується. Головне: властивість адитивності.
Ентропію дискретного досвіду зручно знаходити як вага наступного графа:
Малюнок 2.
Реальна цінність поняття ентропії визначається в першу чергу тим, що виражається їм «ступінь невизначеності» дослідів виявляється в багатьох випадках саме тією характеристикою, яка грає роль в різноманітних процесах, що зустрічаються в природі, суспільстві і техніці і так чи інакше пов'язаних з передачею і зберіганням будь-яких повідомлень.
2. Поняття про інформацію
Поняття інформації (informatio - роз'яснення, інформування, виклад) - це основне поняття не тільки в інформатиці (в информологии - галузі знань, що вивчає прояв інформації, її подання, вимір і т.д.), але і в математиці, у фізиці та ін., погано формалізується і структурується. Через його об'ємності, розпливчастості воно часто розуміється неточно і неповно не тільки вимагаються.
2.1. Форми інформації
Інформація може існувати в пасивній (Не актуалізованої) і активної (актуалізованої) формі.
Інформація по відношенню до навколишнього середовища (або до використовує її середовищі) буває трьох типів: вхідна, вихідна і внутрішня.
Інформація по відношенню до кінцевого результату проблеми буває: вихідна (на початок актуалізації цієї інформації); проміжна (від початку до завершення актуалізації інформації); результуюча (після завершення її актуалізації).
Інформація по мінливості при її актуалізації буває: постійна (не змінюються ніколи при її актуалізації); змінна (змінна при актуалізації); змішана - умовно - постійна (або умовно-змінна).
2.2. Негативний вплив інформації
Інформація може виявитися і шкідливою, що впливає негативно на свідомість, наприклад, виховує сприйняття світу від байдужого або ж некритичного - до негативного, розлючену raquo ;, неадекватного. Інформаційний потік -досить сильний подразник.
Приклад. Негативною інформацією - подразником може бути інформація про крах комерційного банку, про різке зростання (спаді) валютного курсу, про зміну податкової політики та ін. [5].
2.3. Вимірювання інформації
2.3.1. Міра Р. Хартлі
Нехай є N станів системи S або N дослідів з різними, рівноможливими, послідовними станами системи. Найменше число, при якому це можливо, називається мірою різноманітності безлічі станів системи і задається формулою Р. Хартлі:
H=klogаN
де k - коефіцієнт пропорційності (масштабування, в залежності від обраної одиниці виміру заходи), а - основа системи заходів. Якщо вимірювання ведеться в експоненційної системі, то k=1, H=lnN (нат); якщо вимірювання було вироблено в двійковій системі, то k=1/ln2, H=log2N (біт); якщо вимірювання було вироблено в десятковій системі, то k=1/ln10, H=lgN (дит).
Приклад. Щоб дізнатися положення точки в системі з двох клітин тобто отримати деяку інформацію, необхідно задати 1 питання: ( Ліва або права клітина? ).
Дізнавшись положення точки, ми збільшуємо сумарну інформацію про систему на 1 біт (I=log22). Для системи з чотирьох клітин необхідно задати 2 аналогічних питання, а інформація дорівнює 2 бітам (I=log24). Якщо ж система має n різних станів, то максимальну кількість інформації буде визначатися за формулою: I=log2n.
Справедливо твердження Хартлі: якщо в деякій множині X={x1, x2, ..., xn} необхідно виділити довільний елемент xi X, то для того, щоб виділити (знайти) його, необхідно одержати не менш logan (одиниць) інформації [...
