етичне обґрунтування застосування нейромережевого механізму до задачі апроксимації.
Друга глава присвячена постановці завдання і проектного рішення.
Третя глава містить реалізацію програмного продукту.
Четверта глава містить інтерфейс користувача.
1 ТЕОРЕТИЧНІ ВІДОМОСТІ ПРО АПРОКСИМАЦІЇ І НЕЙРОННИХ МЕРЕЖАХ
. 1 Багатошарові мережі прямого поширення
Клас багатошарових нейронних мереж прямого поширення характеризується наявністю одного або декількох прихованих шарів, вузли яких називаються прихованими нейронами, або прихованими елементами. Функція останніх полягає в посередництві між зовнішнім вхідним сигналом і виходом нейронної мережі. Додаючи один або кілька прихованих шарів, ми можемо виділити статистики високого порядку. Така мережа дозволяє виділяти глобальні властивості даних за допомогою локальних з'єднань за рахунок наявності додаткових синаптичних зв'язків та підвищення рівня взаємодії нейронів. Здатність прихованих нейронів виділяти статистичні залежності високого порядку особливо істотна, коли розмір вхідного шару досить великий [1].
Малюнок 1.1 - Багатошарова мережу прямого поширення
Вузли джерела вхідного шару мережі формують відповідні елементи шаблону активації (вхідний вектор), які складають вхідний сигнал, надходить на нейрони (обчислювальні елементи) другого шару. Вихідні сигнали другого шару використовуються в якості вхідних для третього шару і т.д. Зазвичай нейрони кожного з шарів мережі використовують в якості вхідних сигналів вихідні сигнали нейронів тільки попереднього шару. Набір вихідних сигналів нейронів вихідного шару мережі визначає загальний відгук мережі на даний вхідний образ, сформований вузлами джерела вхідного шару. Мережа, показана на малюнку 1.1, називається мережу 10-4-2, так як вона має 10 вхідних, 4 прихованих, і 2 вихідних нейрона. Нейронна мережа, показана на малюнку 1.1, вважається повнозв'язною в тому сенсі, що всі вузли кожного конкретного шару з'єднані з усіма вузлами суміжних шарів. Якщо деякі з синаптичних зв'язків відсутні, така мережа називається неполносвязной [2].
. 2 Узагальнююча здатність багатошарового персептрона
При навчанні методом зворотного поширення помилки в мережу подають навчальну вибірку і обчислюють синаптичні ваги багатошарового персептрона, завантажуючи в мережу максимально можливу кількість прикладів. При цьому розробник сподівається, що навчена таким чином мережа буде здатна до узагальнення. Вважається, що мережа має гарну узагальнюючої здатністю, якщо відображення входу на вихід, здійснюване нею, є коректним (або близьким до цього) для даних, ніколи раніше не «бачених» мережею в процесі навчання [1].
Процес навчання нейронної мережі можна розглядати як завдання апроксимації кривої. Сама мережа при цьому виступає як один нелінійний оператор. Така точка зору дозволяє вважати узагальнення результатом гарної нелінійної інтерполяції вхідних даних.
Мережа здійснює коректну інтерполяцію в основному за рахунок того, що безперервність окремих функцій активації багатошарового персептрона забезпечує безперервність загальної вихідний функції [1].
На малюнку 1, a показано, як відбувається узагальнення в гіпотетичній мережі. Нелінійне відображення входу на вихід, показане на цьому малюнку, визначається мережею в результаті навчання за дискретним точкам (навчальних даних). Крапку, отриману в процесі узагальнення і позначену незаштриховані кружечком, можна розглядати як результат виконуваної мережею інтерполяції.
Нейронна мережа, спроектована з урахуванням гарного узагальнення, здійснюватиме коректне відображення входу на вихід навіть тоді, коли вхідний сигнал злегка відрізняється від прикладів, використаних для навчання мережі (що і показано на малюнку). Однак, якщо мережа навчається на занадто великій кількості прикладів, все може закінчитися тільки запам'ятовуванням даних навчання. Це може статися за рахунок знаходження таких ознак (наприклад, завдяки шуму), які є у прикладах навчання, але не властиві самої модельованої функції відображення. Таке явище називають надлишковим навчання, або перенавчанням. Якщо мережа «перевчити», вона втрачає свою здатність до узагальнення на аналогічних вхідних сигналах.
Зазвичай завантаження даних в багатошаровий персептрон таким способом вимагає використання великої кількості прихованих нейронів, ніж дійсно необхідно. Це виливається в небажане зміна вхідного простору через шум, який міститься в синаптичних вагах мережі. Приклад поганого узагальнення внаслідок простого запам'ятовування повчальних образів показаний на малюнку 1.2, б для тих же даних, які показані на малюнку 1.2, а. Результат зап...
