у може прискорити збіжність SQP алгоритму, що підтверджується чисельними експериментами. Важливо розуміти, що в деяких випадках додаткові витрати на знаходження матриць перетворення можуть бути занадто великими порівняно з часом роботи SQP алгоритму. Наприклад, у разі функції, що залежить лінійно від своїх параметрів, SQP метод буде сходитися всього за одну ітерацію незалежно від числа невідомих, а, отже, додаткові витрати на знаходження матриць перетворення в даному випадку не потрібні. p align="justify"> Випадок ОДУ з запізнілими аргументами
На відміну від системи (3.17) система для ОДУ з запізнілими аргументами буде мати більш складну структуру, а саме:
В
На жаль, аналітичну формулу аналогічну формулою (3.29) для даного типу завдань отримати не вдалося, тому метод редукції змінних далі не розглядається.
Прискорення кроку SQP
Так як застосувати метод редукції змінних не вдалося, спробуємо на кожному кроці SQP алгоритму вирішувати систему рівнянь максимально швидко. Як вже згадувалося вище, матриця коефіцієнтів системи (3.5) не є позитивно певної, і досить швидке розкладання Холецкого не стосується в даному випадку. Спробуємо розглянути ряд інших методів розв'язання системи рівнянь і вибрати з них кращий:
1. Асимметричное блочне розкладання
. Прямі та ітераційні методи
Спочатку, однак, задамося питанням про вибір типу гессіан лагранжіана для задачі (3.5).
Вибір типу гессіан
Розглянемо питання вибору гессіан для підзадачі квадратичного програмування (3.1) - (3.2). Повна матриця Гессе (або матриця Гессе Ньютона) буде мати вигляд
,
,
.
Неповний ж гессіан (або гессіан Гаусса-Ньютона) виходить відкиданням другого доданка у формулі повного гессіан (3.31):
.
При використанні неповного гессіан, кажуть, що завдання вирішується методом Гаусса-Ньютона.
Для наочності структури матриць Гессе і матриць коефіцієнтів систем (3.5) наведені на малюнках:
В
У теорії, локальна швидкість збіжності методу Ньютона квадратична. З іншого боку швидкість збіжності алгоритму Гаусса-Ньютона залежить від нелінійності завдання. Для лінійної моделі метод Гаусса-Ньютона має високу швидкість збіжності. Детальне порівняння методів можна знайти, наприклад, в [6]. p> Зрозуміло, що від методів, що використовують повний гессіан, очікують більш високу швидкість збіжності, ніж від методів використовують неповний, через те, що перші використовують більш точне квадратичне наближення. Проте було показано (наприклад, в [7]), що матриця Гаусса-Ньютона переважніше матриці Ньютона в додатках, якщо дані сильно зашумленими. Додатковим плюсом використання неповного гессіан є швидкість його побудови, його структура і велика розрідженість (див. Малюнок 2 і Малюнок 3), ...
