в. Для загального вигляду - процес нескінченний. Здається розумним спробувати модифікувати цей метод Т.ч., щоб на кожній ітерації пошук проводився не просто вздовж координатної осі, а уздовж найкращого напрямки.
2. Метод Розенброка
Метод Розенброка спрямований на ліквідацію одного з недоліків методу покоординатного спуску - високу чутливість до вибору системи координат. Метод зводиться по суті до відшукання «вдалою» системи координат шляхом повороту вихідних осей координат. Після чого здійснюється пошук по черзі по всім змінним послідовно. Перший цикл пошуку збігається з Г. - З. А далі поворот в залежності від вектора зміщення точки пошуку.
. Симплексний метод (метод деформованого багатогранника)
Симплексу в n - вимірному просторі називають фігуру, яка містить n +1 вершину. На площині - трикутник, в тривимірному просторі - тетраедр і т.д. Якщо всі вершини симплекса однаково віддалені один від одного, то такий симплекс називається регулярним. В організації алгоритму пошуку використовується важлива властивість симплекса: проти кожної вершини знаходиться одна грань.
Суть методу: в околиці точки Х 0 будується симплекс, потім знаходиться найгірша вершина, і на протилежній стороні будується новий симплекс, що відрізняється тільки однієї інша вершиною. Ця вершина виходить симетричним відображенням викидається вершини щодо центру п?? Отівоположной грані.
При виході в район оптимуму процес зазвичай зациклюється, в цьому випадку потрібно стискати симплекс, відкладаючи вершину від грані на відстані вдвічі менше, ніж необхідно. Процес стиснення відбувається багаторазово, до тих пір, поки розміри симплекса НЕ будуть менше заданої величини. Недолік - неможливість прискорення далеко від оптимуму.
. Метод паралельних дотичних
З двох довільних точок, які не лежать на одній прямій заданого напрямку, проводять два спуску по напрямку і знаходять дві точки оптимуму (х11, х21).
Далі оптимум (х31) шукають на прямій лінії, що з'єднує ці точки. У всіх пошуках за направленням можуть застосовуватися будь-які одномірні методи пошуку. Потім - у напрямку прямої (х11, х31), ....
Виникнення назви пов'язане з тим, що метод використовує властивість сімейства концентричних еліпсів, якими зазвичай є лінії рівня. Мінімум лежить на загальному центрі лінії, що з'єднує точки дотику.
Градиентная оптимізація
Методи градієнтного спуску грунтуються на відомому факті, що напрямок градієнта показує напрямок найшвидшого зростання функції, а напрямок антіградіента, відповідно, показує напрямок найшвидшого убування функції.
Модуль ж градієнта - характеризує швидкість цього зростання. Вектор градієнта може бути отриманий через свої проекції на осі координат, які дорівнюють відповідним приватним похідним:
Градієнт завжди перпендикулярний лінії рівня, що проходить через ту точку, в якій обчислений градієнт. Приклад траєкторії пошуку методом градієнтного спуску наведено на рис.
Величина робочого кроку в напрямку градієнта залежить від величини градієнта, яку заздалегідь важко врахувати, тому, як правило, вводиться коефіцієнт пропорційності кроку, за допомогою якого можна керувати ефективністю (число ...
