игнал помилки для фільтра Вінера НЕ коррелирован зі вхідним і вихідним сигналами фільтра.
. 2 Адаптивний алгоритм LMS
Один з найбільш поширених адаптивних алгоритмів заснований на пошуку мінімуму цільової функції методом найшвидшого спуску. При використанні даного способу оптимізації вектор коефіцієнтів фільтра w залежить від номера ітерації k:, і повинен на кожній ітерації зміщуватися на величину, пропорційну градієнту цільової функції в даній точці, таким чином:
, (11)
де - позитивний коефіцієнт, званий розміром кроку. Докладний аналіз збіжності даного процесу наведено, наприклад, в [фільтр Вінера]. Показано, що алгоритм сходиться, якщо
, (12)
де - максимальне власне число кореляційної матриці R. Швидкість збіжності при цьому залежить від розкиду власних чисел кореляційної матриці R- чим менше відношення тим швидше сходиться ітераційний процес.
Однак для реалізації алгоритму потрібно обчислювати значення градієнта, а для цього необхідно знати значення матриці R і вектора р. На практиці можуть бути доступні лише оцінки цих значень, одержувані за вхідними даними. Найпростішими такими оцінками є миттєві значення кореляційної матриці і вектора взаємних кореляцій, одержувані без будь-якого усереднення:
При використанні даних оцінок формула приймає наступний вигляд:
(13)
Вираз, що стоїть в дужках, згідно (3), являє собою різницю між зразковим сигналом і вихідним сигналом фільтра на k-му кроці, тобто помилку фільтрації е (k). З урахуванням цього, вираз для рекурсивного поновлення коефіцієнтів фільтра виявляється дуже простим:
(14)
Алгоритм адаптивної фільтрації, заснований на даній формулі, отримав назву LMS (Least Mean Square, метод найменших квадратів). Можна отримати ту ж формулу і дещо іншим чином: використавши замість градієнта статистично усередненого квадрата помилки градієнт його миттєвого значення.
Аналіз збіжності алгоритму LMS виявляється надзвичайно складним завданням, для якої не існує точного аналітичного рішення. Досить докладний аналіз з використанням наближень приведений в книзі С. Хайкіна. Він показує, що верхня межа для розміру кроку в даному випадку є меншою, ніж при використанні істинних значень градієнта. Ця межа приблизно дорівнює:
(15)
де - власні числа кореляційної матриці R, а - середній квадрат вхідного сигналу фільтра.
На вищенаведеною формулою заснований нормований (normalized) LMS-алгоритм, в якому коефіцієнт на кожному кроці розраховується, виходячи з енергії сигналу, що міститься в лінії затримки:
(16)
де ?0 - нормоване значення ?, що лежить в діапазоні від 0 до 2, а?- Мала позитивна константа, призначення якої - обмежити зростання ? при нульовому сигналі на вході фільтра.
Навіть якщо LMS-алгоритм сходиться, дисперсії коефіцієнтів фільтра при k ?? не прагне до нуля - коефіцієнти флуктуируют навколо оптимальних значень. Через це помилка фільтрації в сталому режимі виявляється більше, ніж помилка для винеровского фільтра:
,
де Eex - середній квадрат надлишкової помилки (excess error) алгоритму LMS.
У тій же книзі С.Хайкіна наводиться така наближена формула для так званого коефіцієнта розлади (misalignment), рівного відношенню середніх квадратів надлишкової і винеровской помилок:
(17)
Значення коефіцієнта ? впливає на два головних параметра LMS-фільтра: швидкість збіжності і коефіцієнт расстройки. Чим більше ?, тим швидше сходиться алгоритм, але тим більше стає коефіцієнт расстройки і навпаки.
Основною перевагою алгоритму LMS є гранична обчислювальна простота - для підстроювання коефіцієнтів фільтра на кожному кроці потрібно виконати N + 1 пар операцій «множення-складання». Платою за простоту є повільна збіжність і підвищена (в порівнянні з мінімально досяжним значенням) дисперсія помилки в сталому режимі.
.3 Детермінована завдання оптимальної фільтрації
При розгляді статистичної задачі оптимізації вхідний сигнал вважався випадковим процесом і мінімізувалася дисперсія помилки відтворення зразкового сигналу. Проте можливий і інший підхід, який не використовує статистичні методи.
Нехай, як і раніше, обробці піддається послідовність відліків {x (k)}, коефіцієнти нерекурсивними фільтра порядку N утворюють набір {wn}, а відліки зразкового сигналу дорівнюють {d (k)}. Вихідний сигнал фільтра визначається формулою (1), а помилка відтворення зразкового сигналу - формулою (2) або, у векторному вигляді, (3).
Тепер оптимізаційна задача формулюється так: потрібно відшукати такі коефіцієнти фільтра {wn}, щоб сумарна квадратична помилка відтворення зразкового сигналу була мінімальною:
...
