бором векторів (векторами головних компонент) і вектором a 0 . Вектор a 0 шукається, як рішення задачі мінімізації для L 0 :
В
тобто
.
У підсумку виходить вибіркове середнє:
В
Французький математик Моріс Фреше в 1948 році звернув увагу, що варіаційне визначення середнього, як точки, що мінімізує суму квадратів відстаней до точок даних, дуже зручно для побудови статистики в довільному метричному просторі, і побудував узагальнення класичної статистики для спільних просторів, що отримало назву узагальненого методу найменших квадратів.
Вектори головних компонент можуть бути знайдені як вирішення однотипних завдань оптимізації:
1) централізуємо дані (віднімаємо середнє):
В
Тепер ;
) знаходимо першу головну компоненту як рішення задачі;
.
Якщо рішення не єдино, то вибираємо одне з них.
) Віднімаємо з даних проекцію на першу головну компоненту:
;
) знаходимо другу головну компоненту як рішення задачі
.
Якщо рішення не єдино, то вибираємо одне з них.
k-1) Віднімаємо проекцію на (k? 1)-ю головну компоненту (нагадаємо, що проекції на попередні (k? 2) головні компоненти вже відняті):
;
k) знаходимо k-ю головну компоненту як рішення задачі:
.
Якщо рішення не єдино, то вибираємо одне з них.
<# "21" src = "doc_zip37.jpg"/>, де середнє арифметичне значення xi дорівнює нулю. Задача? знайти таке отртогональное перетворення в нову систему координат, для якого були б вірні наступні умови:
. <# "Justify"> Вибіркова дисперсія даних вздовж напрямку, заданого нормованим вектором a k , це
В
(оскільки дані центровані, вибіркова дисперсія тут збігається із середнім квадратом ухилення від нуля).
Рішення задачі про найкращої апроксимації дає той же безліч головних компонент , що і пошук ортогональних проекцій з найбільшим розсіюванням, з дуже простої причини: ...
