4].
. 3.2. Міра К. Шеннона
Шеннон вивів це визначення ентропії з наступних припущень: міра повинна бути безперервною; т. е. зміна значення величини ймовірності на малу величину повинно викликати мале результуюче зміна ентропії.
Шеннон показав, що будь-яке визначення ентропії, яке задовольняє цим припущенням, має бути у формі:
де K - константа (і в дійсності потрібна тільки для вибору одиниць виміру) [3].
Шеннон визначив, що вимір ентропії (H =? p1 log2 p1? ...? pn log2 pn), застосовуване до джерела інформації, може визначити вимоги до мінімальної пропускної здатності каналу, необхідної для надійної передачі інформації у вигляді закодованих двійкових чисел.
2.3.3. Термодинамічна міра
Інформаційно-термодинамічний підхід пов'язує величину ентропії системи з браком інформації про внутрішню структуру системи (не заповнює принципово, а не просто нерегістріруемого). При цьому число станів визначає, по суті, ступінь неповноти наших відомостей про систему.
Поставимо деякий питання про стан термодинамічної системи.
Приклад. Припустимо, що є термодинамічна система - газ в обсязі V, який розширюється до об'єму 2V.
Малюнок 3. Газ обсягу V (a) розширюваний до 2V (б)
Нас цікавить питання про координаті молекули m газу. На початку (а) ми знали відповідь на питання і тому p1=1 (lnp1=0). Зміна (убуток) інформації про стан системи дорівнюватиме? I=-k ln (2V/V)=-k ln 2 (нат). Ми отримали відоме в термодинаміки вираз для приросту ентропії в розрахунку на одну молекулу, і воно підтверджує другий початок термодинаміки. Ентропія - міра нестачу інформації про Мікростан статичної системи.
Термодинамічна міра (ентропія) застосовна до систем, що знаходяться в тепловій рівновазі. Для систем, далеких від теплової рівноваги, наприклад, живих біологічних систем, міра-ентропія - менш підходяща [6].
2.3.4. Енергоінформаційна (квантово-механічна) міра
Енергія (ресурс) і інформація (структура) - дві фундаментальні характеристики систем реального світу, що зв'язують їх речові, просторові, тимчасові характеристики. Зараз актуально говорити про біоенергоінформаційних заходи, що відображають механізм взаємозв'язків біофізікоінформаціонних і матеріально-енергетичних процесів у системі, в ноосферу [7].
3. Теорема Шеннона про кодування при наявності перешкод
Теорема Шеннона - Хартлі в теорії інформації lt; # justify gt; Варіанти поєднань тривалості елементарних сігналовКодіровка первинних символів (слов)Ситуацияодинаковыеравномерная(1)одинаковыенеравномерная(2)разныеравномерная(3)разныенеравномерная(4)
У разі використання нерівномірного кодування або сигналів різної тривалості (ситуації (2), (3) і (4)) для відділення коду одного знака від іншого між ними необхідно передавати спеціальний сигнал - тимчасової роздільник (ознака кінця знака) або застосовувати такі коди, які виявляються унікальними, тобто незбіжними з частинами інших кодів. При рівномірному кодуванні однаковими по тривалості сигналами (ситуація (1)) передачі спеціального роздільника не потрібно, оскільки відділення одного коду від іншого проводиться за загальної тривалості, яка для всіх кодів виявляється однаковою (або однаковому числу біт при зберіганні).
4. Приклад використання ентропії в прогнозуванні
. 1 Її значення для прогнозування
Прогнозування є приватним видом моделювання (основа пізнання і управління). Не можна заперечувати, що прогнозування відіграє значиму роль в управлінні країною, галуззю, регіоном, підприємством. Необхідно враховувати СТЗП. Наведемо приклад прогнозування ентропії органічних сполук при підвищеній температурі.
Приклад: Розрахувати окису етилену при 400, 500 і 600 К. Ентропія окису етилену становить 242,4 Дж/(моль? К), значення теплоємність C0p, T при 400, 500 і 600 К наведені в табл. 2.
Рішення: Обчислимо ентропію окису етилену при цікавлять температурах. При цьому середні величини теплоемкостей окису етилену вважаються величинами постійними для кожного з температурних діапазонів (від 300 до 400, від 400 до 500 і від 500 до 600 К) за умовою створення таблиць, допускающему лінійну інтерполяцію сусідніх значень в них.
Результати розрахунку наведені нижче і в табл. 2. зіставлені з рекомендованими значеннями [1].
=242,74+ (48,53 + 62,55)/2? (ln400 - ln300)=258,72 Дж/(моль? К);
=258,72+ (62,55 + 75,44)/2 · (ln500 - ln400...
