еде до якої-небудь точці мінімуму функції з будь-якої початкової точки. За певних умов знайдена точка мінімуму буде шуканим рішенням вихідної нелінійної системи.
Головний недолік - повільна збіжність. Доведено, що збіжність цих методів - лише лінійна, причому, якщо для багатьох методів, таких як метод Ньютона, характерно прискорення збіжності при наближенні до рішення, то тут має місце швидше зворотне. Тому є резон у побудові гібридних алгоритмів, які починали би пошук шуканої точки - вирішення даної нелінійної системи, - глобально сходящимся градієнтним методом, а потім виробляли уточнення якимось бистросходящімся методом, наприклад, методом Ньютона (зрозуміло, якщо дані функції володіють потрібними властивостями) .
Примітка. Порядком збіжності послідовності до називають таке число, що
де при всіх.
Розроблено ряд методів вирішення екстремальних задач, які поєднують у собі низьку вимогливість до вибору початкової точки і високу швидкість збіжності. До таких методів, званим квазіньютоновскімі, можна віднести, наприклад , метод змінної метрики (Девідона-Флетчера-Пауелча), симетричний і позитивно певний методи січних (на основі формули перерахунку Бройдо).
При наявності негладких функцій в розв'язуваної задачі слід відмовитися від використання похідних або їх апроксимацій і вдатися до так званих методів прямого пошуку Циклічного покоординатного спуску, Хука і Дживса, Розенброка і т. п.).
Зауваження 1. Для різних родин чисельних методів мінімізації можуть бути рекомендовані свої критерії зупину ітераційного процесу. Наприклад, враховуючи, що в точці мінімуму функції, що диференціюється повинно виконуватися необхідна умова екстремуму, на кінець рахунки градієнтним методом можна виходити, коли досить малої стає норма градієнта. Якщо взяти до уваги, що мінімізація застосовується до вирішення нелінійної системи, то доцільніше відстежувати близькість до нуля минимизируемой неотрицательной функції, тобто судити про точність одержуваного наближення по квадрату його евклідової метрики.
Зауваження 2. Для вирішення - мірної системи (2.1) слід звести задачу до вирішення екстремальної задачі:
Розглянемо далі приклади реалізації деяких алгоритмів пошуку екстремумів функцій, що залежать від декількох змінних в пакеті Mathcad.
Приклад 2.3
Алгоритм пошуку екстремуму з кроком, не залежних від властивостей функції, що мінімізується.
Найпростіший варіант методу найшвидшого спуску розглянемо на прикладі пошуку мінімуму квадратической функції двох змінних з яром, положистість якого визначається параметром:
при функція являє собою параболоїд обертання;
при параболоид стає еліптичним, «витягуючись» уздовж осі Ох (за - уздовж осі Оу ).
Проведемо побудова графіка досліджуваної функції.
Приклад 2.4
Алгоритм пошуку екстремуму з кроком, що залежать від властивостей функції, що мінімізується (використання похідної по напрямку).
Досліджуємо алгоритм стосовно до мінімізації функції двох змінних, заданої полиномом 4-го порядку:
форма якої визначається коефіцієнтами і.т.д.
Висновок
