1. Узагальнений метод найменших квадратів
Питання про ефективність лінійної незміщеної оцінки вектора ? для узагальненої регресійної моделі вирішується за допомогою наступної теореми.
Теорема Айткена. У класі лінійних незміщене оцінок вектора ? для узагальненої регресійної моделі оцінка
b * = (X '? ? № X)? № X' ? ? № Y
має найменшу ковариационную матрицю.
Доказ. Переконаємося в тому, що оцінка b * є незміщеної. Враховуючи узагальнену лінійну модель множинної регресії (Y = X ? + ? < span align = "justify">), представимо її у вигляді:
b * = (X '? ? № X)? № X' ? ? № (X ? + ? ) = (X ' ? ? № X)? № (X ' ? ? № X )? + (X ' ? ? № X)? № X ' ? ? № ? = ? + (X ' ? ? № X)? № X ' ? ? № < span align = "justify">? .
Математичне сподівання оцінки b *, тобто М (b *) = ?, бо М ( ? ) = 0, тобто оцінка b * є незміщена оцінка ?.
Для доказу оптимальних властивостей оцінки b * перетворимо вихідні дані - матрицю X, вектор Y та обурення ? до виду, при якому виконані вимоги класичної моделі регресії.
З матричної алгебри відомо, що всяка невироджених симетрична (n * n) матриця А допускає подання у вигляді А = РР ', де Р - деяка невироджена (n * n) матриця.
Тому існує така невироджена (n * n) матриця Р, що
? = РР &#...
