ункції F. Далі знаходиться мінімум F при русі в даному напрямку, і в точці цього мінімуму знову визначається градієнт. Процедура повторюється до тих пір, поки різниця значень f на двох послідовних кроках не опиниться менше заданої малої величини. Інший шлях полягає у вирішенні системи нелінійних рівнянь, яка виходить з необхідних умов екстремуму функції F. Ці умови - рівність нулю приватних похідних функції F по кожному з параметрів аj., тобто
Faj = 0,
j = 1, .., m. Виходить система рівнянь
-2S (yi-f (a, xi)) * fai '(a, xi) = 0, j = 1, .., m (4.2)
нелінійність якої обумовлена ​​нелінійністю функції f щодо параметрів аj. Ця система рівнянь може бути вирішена ітераційними методами (коли послідовно знаходяться вектори параметрів, все меншою мірою порушують рівняння системи). Однак в загальному випадку рішення такої системи не є більш простим способом знаходження вектора а, ніж безпосередня оптимізація методом найшвидшого узвозу.
Існують методи оцінювання нелінійної регресії, що поєднують безпосередню оптимізацію, що використовує знаходження градієнта, з розкладанням в функціональний ряд (ряд Тейлора) для подальшої оцінки лінійної регресії. Найбільш відомий з них метод Марквардта, що поєднує в собі переваги кожного з двох використовуваних методів.
При побудові нелінійних рівнянь більш гостро, ніж у лінійному випадку, стоїть проблема правильної оцінки форми залежності між змінними. Неточності при виборі форми оцінюваної функції істотно позначаються на якості окремих параметрів рівнянь регресії і, відповідно, на адекватності всієї моделі в цілому. [1]
В
авторегресійного перетворення
Важливою проблемою при оцінюванні регресії є автокорреляция залишків е, яка говорить про відсутність спочатку предполагавшейся їх взаємної незалежності. Автокорреляция залишків першого порядку, що виявляється за допомогою статистики Дарбіна-Уотсона, говорить про невірну специфікації рівняння або про наявність неврахованих факторів. Природно, для її усунення потрібно спробувати вибрати більш адекватну формулу залежності, відшукати і включити важливі невраховані фактори або уточнити період оцінювання регресії. У деяких випадках, однак, це не дасть результату, а відхилення еi просто пов'язані авторегресійної залежністю. Якщо це авторегресія першого порядку, то її формула має вигляд еi = rei-1 + ui (r - коефіцієнт авторегресії, | r | <1), і ми припускаємо, що залишки ui в цій формулі володіють потрібними властивостями, в Зокрема - взаємно незалежні. Оцінивши r, введемо нові змінні у'i = уi-ryi-1; x'i = xi-rxi-1; ^,. (це перетворення називається авторегресійного (AR), або перетворенням Боксу-Дженкінса). Нехай ми оцінюємо спочатку формулу лінійної регресії уi = а + bxi + еi. Тоді
В
Якщо величини ui.действітельно володіють потрібними властивостями, то в лінійній регресійної залежності у'i = а1 + bx'i + ui автоко...
