агатошарову нейронну мережу з алгоритмом зворотного поширення помилки:
Теорема2: Любая безперервна функція f: [0, 1] n? [0, 1] може бути апроксимована тришарової нейронної мережею з одним прихованим шаром і алгоритмом зворотного поширення помилки з кожного ступенем точності.
Дана теорема є основною для апроксимації функцій за допомогою багатошарових нейронних мереж.
.5 Навчання нейронної мережі
.5.1 Правило навчання Хеба
Навчання - це процес безперервного розвитку за допомогою взаємодії із зовнішнім середовищем і з урахуванням індивідуальності організму. Самоадаптації і самоорганізація нейронних мереж досягається в процесі їх навчання, в ході якого визначаються синаптичні зв'язки між нейронними елементами. Навчальні правила визначають, як змінюються вагові коефіцієнти у відповідь на вхідний вплив.
Правило навчання Хебба має біологічні передумови. Воно є основою багатьох методів навчання нейронних мереж. Згідно з цим правилом, навчання відбувається в результаті посилення сили зв'язку (синаптического ваги) між одночасно активними нейронами. Виходячи з цього, часто використовувані в мережі зв'язку посилюються, що пояснює феномен навчання шляхом повторення та звикання.
Нехай є два нейронних елемента i і j, між якими існує сила зв'язку, рівна wij, тоді правило навчання Хебба запишеться як:
,
де t - час;
xi і yj- відповідно вихідне значення i-го і j-го нейронів.
У початковий момент часу передбачається, що:
.
Правило Хебба для нейронної мережі, зображеної на малюнку 2.9, можна представити у вигляді виразів:
,
,
.
Аналогічним чином правило Хебба записується для нейронної мережі більшої розмірності.
Правило Хебба може використовуватися як при навчанні з учителем, так і без нього. Якщо в якості вихідних значень y нейронної мережі використовуються еталонні значення, то це правило буде відповідати навчанню з учителем. При використанні як y реальних значень, які виходять при подачі на вхід мережі вхідних образів, правило Хебба відповідає навчанню без вчителя.
В останньому випадку вагові коефіцієнти нейронної мережі в початковий момент часу инициализируются випадковим чином. Навчання з використанням правило Хебба закінчується після подачі всіх наявних образів на нейронну мережу. Слід також зазначити, що в загальному випадку правило Хебба не гарантує збіжності процедури навчання нейронної мережі.
2.5.2 Правило навчання Розенблатта
Дану процедуру запропонував американський вчений Ф.Розенблатт в 1959р. для нейронної мережі, яку він назвав персептрон.
Персептрон - це мережа, що складається з S, A і R нейронних елементів. Нейрони шару S називаються сенсорними і призначені для формування вхідних сигналів в результаті зовнішніх впливів. Нейрони шару А називаються асоціативними і призначені для безпосередньої обробки вхідної інформації. Нейрони шару R називаються ефекторними. Вони служать для передачі сигналів збудження до відповідного об'єкту, наприклад до м'язів.
Таким чином, персептрон Розенблатта містить один шар обробних нейронних елементів, в якості яких використовуються нейронні елементи з пороговою функцією активації. Тому навчання персептрона відбувається шляхом налаштування вагових коефіцієнтів між шарами S і A.
Математичну формулювання правила навчання Розенблатта можна представити в наступному вигляді:
, (2.9)
де tj - еталонне значення j-го виходу нейронної мережі;
?- Коефіцієнт, що характеризує швидкість навчання мережі.
Величина швидкості навчання характеризується наступними значеннями:
,
.
Процедура навчання Розенблатта складається з наступних кроків:
1 Вагові коефіцієнти W нейронної мережі инициализируются випадковим чином або встановлюються в нульовий стан.
2 На входи мережі черзі подаються вхідні образи X з навчальної вибірки, які трансформуються у вихідні сигнали нейронних елементів Y.
Якщо реакція нейронної мережі yj збігається з еталонним значенням tj, тобто якщо yj=tj, то ваговий коефіцієнт wij не змінюється.
Якщо вихідна реакція мережі yj не збігається з еталонною, тобто якщо yj? tj, то проводиться модифікація вагових коефіцієнтів за правилом (2.9).
Кроки 2-4 повторюються до тих пір, поки не стане yj=tj, для всіх вхідних образів, або не перестануть змінюватися вагові коефіцієнти.
Згідно з теоремою збіж...
