вважаються найбільш перспективними статистичними методами.
Поняття та ідеї робастних методів пояснимо на прикладі - прямих вимірюваннях з багаторазовими спостереженнями. Застосовуючи для обробки результатів спостережень х1, ..., xn метод найменших квадратів, отримаємо класичну оцінку - середнє арифметичне результатів спостережень:
(3.12)
Ця оцінка є найкращою при гауссовского розподілі похибок; однак при відхиленнях від гауссовского розподілу або викидах вона виявляється неефективною.
Гаусове розподіл виділяється тим, що має «легкі» хвости, т. е. основна імовірнісна масазосереджена у порівняно невеликому інтервалі (a - 3 ?, a + 3?), а поза цей інтервалу - вельми мала. Таким чином, ймовірності великих відхилень від середнього а вкрай малі. Зазначимо, що це умова для багатьох практичних випадків виявляється занадто жорстким; реальні вибірки часто мають «обтяжені» хвости, т. е. ймовірності великих відхилень істотно більше, ніж при гауссовского розподілі.
Найпростішими стійкими оцінками математичного очікування є усічені середні, де. У впорядкованої вибірці відкидають по m=[na] крайніх членів ліворуч і праворуч, а потім беруть середнє арифметичне решти членів:
(3.13)
Граничним випадком усічених середніх прі є вибіркова медіана:
(3.14)
При виходить звичайне середнє.
В якості кількісної характеристики стійкості оцінки найчастіше використовується значення точки зриву. Точка зриву? * Це максимальна частка засмічень (перекручувань) вихідних даних, які не призводять до неконтрольовано великих погрішностей оцінки; вона може приймати значення від 0 до 0,5. Середнє арифметичне є нестійкою оцінкою; для нього точка зриву? *=0. Для усіченого середнього точка зриву дорівнює параметру усічення:? *=a. Тому чим більше усічення, тим стійкіше оцінка. Медіана, для якої точка зриву? *=0,5, є дуже стійкою, надійною оцінкою; однак вона має низьку ефективність. Медіану часто використовують як перше наближення в більш складних і точних алгоритмах.
При дослідженні робастних оцінок, як правило, передбачається, що можливі розподілу вади знайти не дуже сильно відрізняються від гауссовского розподілу. Часто використовується так звана модель засмічення: розподіл представляють у вигляді суміші гауссовского розподілу Ф (x) з деяким іншим (засмічують) розподілом H (х):
(3.15)
засмічувати розподіл Н (х) може бути або гауссовским розподілом зі значно більшою дисперсією, ніж Ф (х), або H (х) відрізняється від гауссовского розподілу.
Робастні оцінки повинні задовольняти двом основним вимогам:
мало поступатися в ефективності оптимальним оцінками, т. е. оцінками найменших квадратів, коли основний розподіл є гауссовским;
залишатися достатньо?? Зрошуючи при відхиленнях від гауссовского розподілу, коли МНК непридатний.
Як відомо, оцінка найменших квадратів визначається з умови мінімуму суми квадратів відхилень значень xi від оцінки:
(3.16)
Нестійкість цієї оцінки пов'язана з тим, що головну роль у сумі грають великі відхилення; тому для отримання робастних оцінок доцільно замінити квадратичну функцію на іншу, зростаючу повільніше квадратичної.
Оцінки, одержувані з умови:
(3.17)
називаються М-оцінками. Вагова функція зазвичай вибирається з умов:
при великих | x | функція зростає повільніше, ніж квадратична;
при малих | x | функція близька до квадратичної.
Перша умова означає, що оцінка буде слабо залежати від викидів і відхилень від гауссовского розподілу. Однак друга умова забезпечує те, що при гауссовского розподілі оцінка буде близька до ефективною. Таким чином, буде отримана оцінка, робастний поблизу гауссовского розподілу.
Оцінки найменших квадратів легко виражаються в явному вигляді і мають досить простий вигляд. На жаль, М-оцінки зазвичай не виражаються в явному вигляді. Вони є рішеннями рівнянь:
(3.18)
де.
Зазвичай для вирішення таких рівнянь використовують ітераційні методи.
Найбільш поширеними на практиці є М-оцінки Хубера, Хампела, Андрюса і Тьюки.
Крім того, є і деякі інші групи робастних оцінок, наприклад, засновані на відкиданні точок за спеціальними правилами (замість усікання заздалегідь фіксованої частки а вибірки, як в усіченому середньому). Використовуються також оцінки, засновані на ранги (т. Е. Номерах членів у впорядкованій вибірці) або зростаючих функціях рангів. До того ж можна використовувати різні адаптивні оцінки, засновані на перерахованих вище робастних оцінках, і лінійні комбінації оцінок. З адаптивних оцінок найбільш відомі оцінки Хогга, засновані на усічених середніх.
3.5 Швидкі та графічні методи побудови прямих
Наведемо кілька простих методів побудови лін...
