"justify"> алгоритм градієнтного спуску з обуренням і адаптацією параметра швидкості настроювання.
Алгоритмами, заснованими на використанні методу сполучених градієнтів, є:
CGF - алгоритм Флетчера - Рівса;
CGP - алгоритм Полака - Ребейри;
CGB - алгоритм Бієль - Пауелла;
SCG - алгоритм Молер.
Квазіньютоновскімі алгоритмами є:
DFGS - алгоритм Бройдо, Флетчера, Гольдфарба і Шанно;
OSS - однокроковий алгоритм методу січних площин (алгоритм Баттіні);
LM - алгоритм Левенберга - Марквардта;
BR - алгоритм Левенберга - Марквардта з Регуляризація по Байес.
У процесі роботи алгоритмів мінімізації функціоналу помилки часто виникає завдання одновимірного пошуку мінімуму вздовж заданого напрямку. Для цих цілей використовується метод золотого перетину GOL, алгоритм Брента BRE , метод половинного ділення і кубічної інтерполяції HYB , алгоритм Чараламбуса CHA і алгоритм перебору з поверненням BAC.
Практичні завдання.
Завдання 1. Адаптувати параметри одношарової статичної лінійної мережі з двома входами для апроксимації лінійної залежності виду t = 2 p1 + p2, виконавши такі дії:
. За допомогою конструктора лінійного шару
net = newlin (PR, s, id, lr),
де PR - масив розміру Rx2 мінімальних і максимальних значень для R векторів входу; s - число нейронів у шарі; id - опис ліній затримок на вході шару; lr - параметр швидкості налаштування, сформувати лінійну мережу:
= newlin ([-1 1; -1 1], 1, 0...
