/>
де m - коефіцієнт інерційності, t - номер поточної ітерації.
Таким чином, повний алгоритм навчання НС за допомогою процедури зворотного поширення будується так:
. Подати на входи мережі один з можливих образів і в режимі звичайного функціонування НС, коли сигнали поширюються від входів до виходів, розрахувати значення останніх. Нагадаємо, що
(3.2.1.11)
де M - число нейронів у шарі n - 1 з урахуванням нейрона з постійним вихідним станом +1, що задає зсув; yi (n - 1)=xij (n) - i-ий вхід нейрона j шару n.
j (n)=f (sj (n)), де f () - сигмоид (3.2.1.12) q (0)=Iq, (3.2.1.13)
де Iq - q-а компонента вектора вхідного образу.
. Розрахувати d (N) для вихідного шару за формулою (3.2.1.8).
Розрахувати за формулою (3.2.1.9) або (3.2.1.10) зміни ваг D w (N) шару N.
. Розрахувати за формулами (3.2.1.7) і (3.2.1.9) (або (3.2.1.7) і (3.2.1.10)) відповідно d (n) і D w (n) для всіх інших верств, n=N - 1, ... 1.
. Скорегувати всі ваги в НС
(3.2.1.14)
. Якщо помилка мережі істотна, перейти на крок 1. Інакше - кінець.
Малюнок 3.1 - Діаграма сигналів в мережі при навчанні за алгоритмом зворотного поширення
Мережі на кроці 1 поперемінно у випадковому порядку пред'являються всі тренувальні образи, щоб мережа, образно кажучи, не забувала одні в міру запам'ятовування інших. Алгоритм ілюструється малюнком 3.1.
З виразу (3.2.1.9) випливає, що коли вихідне значення yi (n - 1) прагне до нуля, ефективність навчання помітно знижується. При довічних вхідних векторах у середньому половина вагових коефіцієнтів НЕ буде коригуватися, тому область можливих значень виходів нейронів [0,1] бажано зрушити в межі [- 0.5, +0.5], що досягається простими модифікаціями логістичних функцій. Наприклад, сигмоид з експонентою перетвориться до виду
(3.2.1.15)
Тепер торкнемося питання ємності НС, тобто числа образів, що пред'являються на її входи, які вона здатна навчитися розпізнавати. Для мереж з числом шарів більше двох, він залишається відкритим. Як показано в [4], для НС з двома шарами, тобто вихідним і одним прихованим шаром, детерміністська ємність мережі Cd оцінюється так:
Nw / Ny
де Nw - число підлаштовується ваг, Ny - число нейронів у вихідному шарі.
Слід зазначити, що даний вираз отримано з урахуванням деяких обмежень. По-перше, число входів Nx і нейронів в прихованому шарі Nh повинно задовольняти нерівності Nx + Nh> Ny. По-друге, Nw / Ny> 1000. Однак вищенаведена оцінка виконувалася для мереж з активаційними функціями нейронів у вигляді порогу, а ємність мереж із гладкими активаційними функціями, наприклад - (3.2.1.15), зазвичай більше. Крім того, фігурує в назві ємності прикметник «детерміністський» означає, що отримана оцінка ємності підходить абсолютно для всіх можливих вхідних образів, які можуть бути представлені Nx входами. Насправді розподіл вхідних образів, як правило, володіє деякою регулярністю, що дозволяє НС проводити узагальнення і, таким чином, збільшувати реальну ємність. Так як розподіл образів, у загальному випадку, заздалегідь не відомо, ми можемо говорити про таку ємності тільки імовірно, але зазвичай вона разу в два перевищує ємність...
