одношарову мережу, і багатошаровість виявляється непотрібною. Якщо застосована лінійна функція активації, то кожен шар буде давати на виході лінійну комбінацію входів. Наступний шар дасть лінійну комбінацію виходів попереднього, а це еквівалентно одній лінійної комбінації з іншими коефіцієнтами, і може бути реалізовано у вигляді одного шару нейронів.
Багатошарова мережа може формувати на виході довільну багатовимірну функцію при відповідному виборі кількості шарів, діапазону зміни сигналів і параметрів нейронів. Як і ряди, багатошарові мережі виявляються універсальним інструментом апроксимації функцій. У багатошаровому перcептроне немає зворотних зв'язків. Такі моделі називаються мережами прямого поширення. Вони не володіють внутрішнім станом і не дозволяють без додаткових прийомів моделювати розвиток динамічних систем.
Серед різних структур нейронних мереж (НС) однієї з найбільш відомих є багатошарова структура, в якій кожен нейрон довільного шару пов'язаний з усіма нейронів попереднього шару або, у разі першого шару, з усіма входами НС. Такі НС називаються повнозв'язкову. Коли в мережі тільки один шар, алгоритм її навчання з учителем досить очевидний, оскільки правильні вихідні стани нейронів єдиного шару свідомо відомі, і підстроювання синаптичних зв'язків йде в напрямку, мінімізуючому помилку на виході мережі. За цим принципом будується, наприклад, алгоритм навчання одношарового перcептрона. У багатошарових ж мережах оптимальні вихідні значення нейронів всіх шарів, крім останнього, як правило, не відомі, і двох чи більше шаровий перcептрон вже неможливо навчити, керуючись тільки величинами помилок на виходах НС. Один з варіантів вирішення цієї проблеми - розробка наборів вихідних сигналів, відповідних вхідним, для кожного шару НС, що, звичайно, є дуже трудомісткою операцією і не завжди здійсненно. Другий варіант - динамічне підстроювання вагових коефіцієнтів синапсів, в ході якої вибираються, як правило, найбільш слабкі зв'язки і змінюються на малу величину в ту чи іншу сторону, а зберігаються тільки ті зміни, які спричинили зменшення помилки на виході всієї мережі. Очевидно, що даний метод, незважаючи на свою уявну простоту, вимагає громіздких рутинних обчислень. І, нарешті, третій, більш прийнятний варіант - поширення сигналів помилки від виходів НС до її входів, в напрямку, зворотному прямому поширенню сигналів у звичайному режимі роботи. Цей алгоритм навчання НС отримав назву процедури зворотного поширення.
Відповідно до методу найменших квадратів, минимизируемой цільовою функцією помилки НС є величина:
(1)
де - реальне вихідна стан нейрона j вихідного шару N нейронної мережі при подачі на її входи p-го образу; djp - ідеальне (бажане) вихідна стан цього нейрона.
Підсумовування ведеться по всіх нейронам вихідного шару і по всіх оброблюваним мережею образам. Мінімізація ведеться методом градієнтного спуску, що означає підстроювання вагових коефіцієнтів наступним чином:
(2)
Тут w ij - ваговий коефіцієнт синаптичного зв'язку, що з'єднує i-ий нейрон шару n - 1 з j-им нейроном шару n, h - коефіцієнт швидкості навчання, 0 lt; h lt; 1.
Як показано в [17],
(3)
Тут під yj,, мається на увазі вихід нейрона j, а під sj - зважена сума його вхідних сигналів, тобто аргумент активаційної функції. Так як множник dy j/ds j є похідною цієї функції по її аргументу, з цього випливає, що похідна активаційної функція повинна бути визначена на всій осі абсцис. У зв'язку з цим функція одиничного стрибка та інші активаційні функції з неоднорідностями не підходять для розглянутих НС. У них застосовуються такі гладкі функції, як гіперболічний тангенс або класичний сигмоид з експонентою. У разі гіперболічного тангенса
(4)
Третій множник ¶ sj/¶ w ij, очевидно, дорівнює виходу нейрона попереднього шару yi (n - 1).
Що стосується першого множника в (3), він легко розкладається наступним чином [17]:
(5)
Тут підсумовування по k виконується серед нейронів шару n + 1.
Запровадивши нову змінну
(6)
ми отримаємо рекурсивну формулу для розрахунків величин dj (n) шару n з величин dk (n + 1) більш старшого шару n + 1.
(7)
Для вихідного ж шару
(8)
Тепер ми можемо записати (2) у розкритому вигляді:
(9)
Іноді для додання процесу корекції ваг деякої інерційності, згладжуючої різкі скачки при переміщенні по поверхні цільової функції, (9) доповнюється значенням зміни ваги на попередній ітерації
(10)
де m - коефіцієнт і...
