ВСТУП
Предмет роботи: ентропія та інформація.
Мета роботи: вивчення ентропії та інформації, а так само: яке застосування мають дані поняття до ризиків.
У ході даної роботи належить вирішити кілька завдань: розгляд поняття ентропії та інформації, статистичного та термодинамічної сенсу ентропії, так само визначення даного поняття, як заходи ступеня невизначеності, теореми Шеннона про кодування при наявності перешкод, використання ентропії у прогнозуванні та застосування ентропії до ризиків.
Ця тема є злободенною, оскільки широко користуються у фізиці, хімії, біології та теорії інформації. Клаузіузус першим же в 1865 році поклав початок застосування поняття ентропія на основі аналізу теплових машин. Важко знайти визначення більш загальні для всіх наук (не тільки природних), ніж ентропія та інформація. Можливо, це пов'язано з самими назвами. З тих пір ентропія багаторазово фігурувала в знаменитих суперечках. Наприклад, в історичній науці ентропія має не мале значення для пояснення експлікації феномена варіативності історії.
Існуючому давно поняттю інформація, було надано математично точний сенс К. Шенноном. Це як приводило, так і призводить до багатьох непорозумінь, тому дуже важливо приділити даному поняттю належну увагу. Жодна інформація, ніяке знання не з'являється відразу - цьому передує етап накопичення, осмислення, систематизації досвідчених даних, поглядів. Інформація є спільним компонентом для всіх наук, вона пов'язує між собою різні за характером і змістом науки, тому інформаційні процеси, які вивчаються інформатикою, мають місце в багатьох предметних областях.
Не можна обмежувати інформаційні процеси рамками обчислень і пасивного отримання або перетворення інформації. Ці процеси складні і різноманітні. Важливо навчити нове покоління це розуміти. Інформація не завжди пов'язана з комп'ютером. Найчастіше саме людина активно її обробляє. Уміння в процесі обробки не тільки аналізувати, але і синтезувати з окремих крупинок інформації ціле - вельми цінна якість людини майбутнього.
Я згодна з необхідністю вивчення поняття ентропії, синергетики, соціальної інформатики, еволюції і т.п.
1. Поняття ентропії
1.1. Статистичний зміст поняття ентропії
Імовірнісне тлумачення поняття ентропії було дано в статистичній фізиці Людвігом Больцманом. Введемо для початку поняття термодинамічної ймовірності (W). Термодинамічна імовірність означає число можливих невідмітних мікроскопічних станів системи реалізують певний макроскопічне стан цієї системи.
Малюнок 1
Будемо розглядати просту систему всього з двох невідмітних молекул, які знаходяться в деякому обсязі. Подумки розділимо цей обсяг на дві частини, і, пронумерувавши молекули, знайдемо число способів, яким можна розмістити їх в цих двох частинах.
Ми можемо побачити, що всього 4 способи, але два нижніх неотличими, оскільки молекули 1 і 2 абсолютно однакові, і відповідають одному й тому ж макроскопическому станом системи. Таким чином, ми маємо три різних макроскопічних стану системи, два з яких (верхніх), що реалізуються тільки одним способом, а третє, нижнє двома. Число способів-термодинамічна ймовірність W. Всі чотири способи рівноймовірно, тому більшу частину часу система буде знаходитися в третьому стані.
Ми розглядали тільки 2 молекули. Число способів розміщення n молекул у двох частинах обсягу одно 2n, а число способів розміщення всіх молекул в одній половині обсягу дорівнює 1. Ентропія термодинамічного стану системи визначається через термодинамічну ймовірність:
=k · lnW
де k - постійна Больцмана. Цей вираз називається принципом Больцмана [2].
У статистичної термодинаміки ентропія так само характеризує міру безладдя та хаосу.
1.2. Ентропія як міра ступеня невизначеності
Існування невизначеності пов'язане з участю ймовірностей у здійсненні подій. Усунення невизначеності є збільшення ймовірності настання того, що задано як мета. Тому ймовірності повинні брати участь у математичній формулюванні величини усунених невизначеності.
Перша вдала спроба реалізувати визначення інформації на такій основі здійснена в 1928 р Л. Хартлі. Нехай можливо в даних умовах n варіантів деякого результату. Метою є один з них. Хартлі запропонував характеризувати невизначеність логарифмом числа n.
Кількісна міра s отриманої інформації (усунених невизначеності) виражається логарифмом відносини ймовірностей:
