n="justify"> є мінімізація цього функціонала за допомогою зміни ваг і зміщень.
В даний час розроблено декілька методів мінімізації функціоналу помилки на основі відомих методів визначення екстремумів функцій декількох змінних. Всі ці методи можна розділити на три класи:
а) методи нульового порядку, в яких для знаходження мінімуму використовується тільки інформація про значеннях функціоналу в заданих точках;
б) методи першого порядку, в яких використовується градієнт функціоналу помилки по параметрам, що використовує приватні похідні функціоналу;
в) методи другого порядку, в яких використовуються другі похідні функціоналу.
Для лінійних мереж задача знаходження мінімуму функціонала (параболоїда) зводиться до розв'язання системи лінійних рівнянь, що включають ваги, зміщення, вхідні навчальні значення і цільові виходи і, таким чином, може бути вирішена без використання ітераційних методів. У всіх інших випадках треба використовувати методи першого або другого порядку. p align="justify"> Якщо використовується градієнт функціоналу помилки, то
В
де X k і X k +1 - вектори параметрів на k-й і k +1- й ітераціях ;
? k - параметр швидкості навчання; kg - градієнт функціоналу, відповідний k-й ітерації.
Якщо використовується зв'язаний градієнт функціоналу, то на першій ітерації напрямок руху 0 p вибирають проти градієнта 0 g цієї ітерації:
В
Для наступних ітерацій напрямок kp вибирають як лінійну комбінацію векторів kg і k? 1 p:
В
а вектор параметрів розраховують за формулою:
В
Для методів другого порядку розрахунок параметрів на k-му кроці роблять за формулою (метод Ньютона):
В
де Hk - матриця других приватних похідних цільової функції (матриця Тессе); gk - вектор градієнта на k-й ітерації. Обчислення матриці Тессе вимагає великих витрат машинного часу, тому її замінюють наближеними виразами (квазіньютоновскіе алгоритми). p align="justify"> градиентному алгоритмами навчання є:
GD - алгоритм градієнтного спуску;
GDM - алгоритм градієнтного спуску з обуренням;
GDA - алгоритм градієнтного спуску з вибором параметра швидкості настройки;
Rprop - пороговий алгоритм зворотного поширення помилки;
GDX -
