і. За цим принципом будується, наприклад, алгоритм навчання одношарового персептрона. У багатошарових же мережах оптимальні вихідні значення нейронів усіх шарів, крім останнього, як правило, не відомі, і двох чи більше шаровий перцептрон уже неможливо навчити, керуючись тільки величинами помилок на виходах НС. Один з варіантів вирішення цієї проблеми - розробка наборів вихідних сигналів, відповідних вхідним, для кожного шару НС, що, звичайно, є дуже трудомісткою операцією і не завжди здійсненно. Другий варіант - динамічне підстроювання вагових коефіцієнтів синапсів, в ході якої вибираються, як правило, найбільш слабкі зв'язки і змінюються на малу величину в ту чи іншу сторону, а зберігаються тільки ті зміни, які спричинили зменшення помилки на виході всієї мережі. Очевидно, що даний метод «тику», незважаючи на свою уявну простоту, вимагає громіздких рутинних обчислень. І, нарешті, третій, більш прийнятний варіант - поширення сигналів помилки від виходів НС до її входів, у напрямку, зворотному прямому поширенню сигналів у звичайному режимі роботи. Цей алгоритм навчання НС отримав назву процедури зворотного поширення. Саме він буде розглянутий надалі.
Відповідно до методу найменших квадратів, що мінімізується цільовою функцією помилки НС є величина:
(3.2.1.1)
де - реальне вихідна стан нейрона j вихідного шару N нейронної мережі при подачі на її входи p-го образу; djp - ідеальне (бажане) вихідна стан цього нейрона.
Підсумовування ведеться по всіх нейронах вихідного шару і по всім оброблюваним мережею образам. Мінімізація ведеться методом градієнтного спуску, що означає підстроювання вагових коефіцієнтів таким чином:
(3.2.1.2)
Тут wij - ваговий коефіцієнт синаптичного зв'язку, що з'єднує i-ий нейрон шару n - 1 з j-им нейроном шару n, h - коефіцієнт швидкості навчання, 0
(3.2.1.3)
Тут під yj, як і раніше, мається на увазі вихід нейрона j, а під sj - зважена сума його вхідних сигналів, тобто аргумент активаційної функції. Так як множник dyj / dsj є похідною цієї функції по її аргументу, з цього випливає, що похідна активаційної функція повинна бути визначена на всій осі абсцис. У зв'язку з цим функція одиничного стрибка та інші активаційні функції з неоднорідностями не підходять для розглянутих НС. У них застосовуються такі гладкі функції, як гіперболічний тангенс або класичний сигмоид з експонентою. У разі гіперболічного тангенса
(3.2.1.4)
Третій множник ¶ sj / ¶ wij, очевидно, дорівнює виходу нейрона попереднього шару yi (n - 1). Що стосується першого множника в (3.2.1.3), він легко розкладається наступним чином:
(3.2.1.5)
Тут підсумовування по k виконується серед нейронів шару n +1.
Ввівши нову змінну
(3.2.1.6)
ми отримаємо рекурсивну формулу для розрахунків величин dj (n) шару n з величин dk (n +1) більш старшого шару n +1.
(3.2.1.7)
Для вихідного ж шару
(3.2.1.8)
Тепер ми можемо записати (3.2.1.2) в розкритому вигляді:
(3.2.1.9)
Іноді для додання процесу корекції ваг деякої інерційності, що згладжує різкі скачки при переміщенні по поверхні цільової функції, (3.2.1.9) доповнюється значенням зміни ваги на попередній ітерації
(3.2.1.10)
