х даних і дослідження їх властивостей. Дані складаються з пар значень залежної змінної (змінної відгуку) і незалежної змінної (пояснюватиме змінної). Регресійна модель <# "19" src = "doc_zip1.jpg"/>. Регресійним аналізом називається пошук такої функції, яка описує цю залежність. Регресія може бути представлена ​​у вигляді суми невипадковою і випадкової складових. де - функція регресійної залежності, а - адитивна випадкова величина з нульовим мат очікуванням. Припущення про характер розподілу цієї величини називається гіпотезою породження даних <# "8" src = "doc_zip6.jpg"/> має гауссово розподілення <# "20" src = "doc_zip7.jpg"/>. p> Задача знаходження регресійній моделі декількох вільних змінних ставиться таким чином. Задана вибірка <# "24" src = "doc_zip8.jpg"/> значень вільних змінних і безліч відповідних їм значень залежної змінної. Ці безлічі позначаються як, безліч вихідних даних. p> Задана регресійна модель - параметричне сімейство функцій залежить від параметрів і вільних змінних. Потрібно знайти найбільш ймовірні параметри:
Функція ймовірності залежить від гіпотези породження даних і задається байєсівського висновком <# "justify"> Метод найменших квадратів
Метод найменших квадратів - метод знаходження оптимальних параметрів лінійної регресії, таких, що сума квадратів помилок (регресійних залишків) мінімальна. Метод полягає в мінімізації евклидова відстані між двома векторами - вектором відновлених значень залежної змінної і вектором фактичних значень залежної змінної. p> Завдання методу найменших квадратів полягає у виборі вектора, мінімізують помилку. Ця помилка є відстань від вектора до вектора. Вектор лежить в просторі стовпців матриці, так як є лінійна комбінація стовпців цієї матриці з коефіцієнтами. Відшукання рішення за методом найменших квадратів еквівалентно задачі відшукання такої точки, яка лежить найближче до і знаходиться при цьому в просторі стовпців матриці. p> Таким чином, вектор повинен бути проекцією на простір стовпців і вектор нев'язки повинен бути ортогонален цьому простору. Ортогональность полягає в тому, що кожен вектор в просторі стовпців є лінійна комбінація стовпців з деякими коефіцієнтами, тобто це вектор. Для всіх у просторі, ці вектори повинні бути перпендикулярні невязке:
В
Так як це рівність має бути справедливо для довільного вектора, то
Рішення за методом найменших квадратів несумісної системи, що складається з рівнянь з невідомими, є рівняння
В
яке називається нормальним рівнянням. Якщо стовпці матриці лінійно незалежні, то матриця оборотна і єдине рішення
В
Проекція вектора на простір стовпців матриці має вигляд
Матриця називається матрицею проектування вектора на простір стовпців матриці. Ця матриця має дві основні властивості: вона ідемпотентна,, і симетрична,. Зворотне також вірно: матриця, що володіє цими двома властивостями є матриця проектування на свій простір стовпців. ...
