визначення. Розглянемо функцію
В
Тоді решение даної системи зводіться до мінімізації цієї Функції.
Для мінімізації за методом спуску вібірається початковий вектор Х 0 , а потім шукається напрямлення узвозу до решение, таке щоб
В
для векторів Х (1) увазі. Тут - скалярна величина, Постійна для даної ітерації и знаходится величину кроку за безпосередньо.
Методи спуску розрізняються в залежності від Вибори напрямлення узвозу. Одним Із найкращих спрямованих є напрямлення градієнта
В
Функція Ф (Х (і)) задається в n-мірному просторі сімейства гіперповерхонь и Градієнт вірішує Напрям Найшвидший узвозу. Тому самє воно вікорістовується у методі Найшвидший спуску для мінімізації Функції.
Іншою проблемою в методах Найшвидший спуску є вибір Величини кроці, на Який нужно про рушити Вздовж напряму Зменшення Функції. p> Спробуємо вібрато оптимальний крок для - ітерації методу Найшвидший спуску и побудуваті вектор
В
для Якого функція пріймає менше значення, а чім. Розкладемо функцію
В
в ряд Тейлора та обмеже членами іншого порядку меншості получімо
(3)
Тоді значення, а для Якого функція Прийма мінімальне значення, а візначається Із умови Про діференціювавші рівняння (3) за и ВРАХОВУЮЧИ, что получімо
(4)
Оскількі в методі Найшвидший спуску компоненти градієнта мают вигляд
В В
то формула (4) после підстановкі ціх рівнянь перейдемо до вигляд
(5)
Формула (5) Дуже Складна оскількі потребує рахування інших часних похідніх.
На практіці всегда вікорістовується Наступний вариант знаходження.
Нехай Значення Ф (Х) змінюється Вздовж Напрямки градієнта. Розглянемо точку пересікання крівої та касатільної в точці з осю. p> Вона буде розраховуватися Наступний чином:
. (6)
Як Бачимо, в цьом випадка рахується просто, альо сходження методу может буті Дуже Повільно. Тому Інколи на практіці Використовують Наступний модіфікацію.
Для кожної ітерації методу рахують Значення функціонала при, а потім при i будують Квадратичне набліження функціонала, Який проходити через три точки. Продіференціювавші отриманий рівняння по та прірівнявші похідну, получімо Наступний рівняння для
(7)
Практика показує, что хочай цею вариант більш громіздкій, так як у порівнянні з формулою (5) доводитися додатково рахувати два значення Функції, альо метод сходитися набагато швідше.
Інколи характер Ф (Х) такий, что аналітичне рівняння для приватних похідніх має Надто Складний вигляд и рахувати їх Надто доладно.
Такоже слід відмітіті, что ЯКЩО в области Шуканов решение є локальні мінімумі, то метод спуску может не привести до шукаємого решение, а могут зійтіся до одного з ціх мінімумів. Практично часто спуск Буває Дуже повільнім даже при відс...
