ною, що робить практично неможливим формальний висновок зворотної функції. Однак на основі безлічі маркованих прикладів (13) можна побудувати нейронну мережу, аппроксимирующую зворотну функцію За допомогою схеми, зображеної на малюнку 1.3. У даній ситуації ролі векторів xi і di змінюються: вектор di використовується як вхідний сигнал, а вектор xi - як бажаний відгук. Нехай вектор сигналу помилки визначається як різниця між вектором xi і виходом нейронної мережі yi, отриманим у відповідь на обурення di. Як і в задачі ідентифікації системи, вектор сигналу помилки використовується для коригування вільних параметрів нейронної мережі з метою мінімізації суми квадратів різниць між виходами невідомої інверсної системи і нейронної мережі в статистичному сенсі (тобто обчислюється на всьому безлічі прикладів навчання).
Малюнок 1.4 - Блокова діаграма моделювання інверсної системи
1.4 Нормалізація вхідних даних нейронної мережі
Нормалізація вхідних даних - це процес, при якому всі вхідні дані проходять процес вирівнювання raquo ;, тобто приведення до певного інтервалу, наприклад [0,1] або [- 1,1]. Нормалізація дозволяє значно підвищити швидкість збіжності алгоритму навчання нейронної мережі. Якщо не провести нормалізацію, то вхідні дані будуть надавати додатковий вплив на нейрон, що може призвести до невірних рішень. Іншими словами, не можна порівнювати величини різних порядків [2].
Найпростіші методи нормалізації вхідних даних:
. Нормалізація з використанням математичного очікування й дисперсії.
Виконаємо предобработку даних - нормировку вихідних даних, для цього скористаємося стандартною формулою:
(14)
де - нова змінна;- Вибіркова оцінка математичного очікування;- Вибіркова оцінка дисперсії.
Щоб отриманий вихід мережі відповідав реальному використовується формула
2. Нормалізація з використанням мінімаксної функції.
Мінімаксна функція, виконує лінійне перетворення після визначення мінімального і максимального значень функції так, щоб одержувані значення перебували в потрібному діапазоні.
У загальному вигляді формула нормалізації виглядає так [3]:
(15)
де: - значення, підмет нормалізації;
[xmin, xmax] - інтервал значень x;
[d1, d2] - інтервал, до якого буде приведено значення x.
Є й більш ґрунтовні і трудомісткі підходи до нормалізації, от наприклад:
Всі вхідні змінні повинні бути попередньо оброблені так, щоб середнє значення по всьому навчальному безлічі було близько до нуля, інакше їх буде складно порівнювати зі стандартним відхиленням. Для оцінки практичної значущості цього правила розглянемо екстремальний випадок, коли всі вхідні змінні позитивні. У цьому випадку синаптичні ваги нейрона першого прихованого шару можуть або одночасно збільшуватися, або одночасно зменшуватися. Отже, вектор ваг цього нейрона буде міняти напрям, що призведе до зигзагоподібному руху по поверхні помилки. Така ситуація звичайно уповільнює процес навчання і, таким чином, неприйнятна [1].
Щоб прискорити процес навчання методом зворотного поширення, вхідні вектори необхідно нормалізувати у двох наступних аспектах:
а) Вхідні змінні, що містяться в навчальній множині, належні бути некоррелірованні. Цього можна домогтися за допомогою аналізу головних компонентів.
б) Некоррел?? рова вхідні змінні повинні бути масштабовані так, щоб їх коваріація була приблизно рівною. Тоді різні синаптичні ваги мережі навчатимуться приблизно з однією швидкістю.
На малюнку 1.5 показаний результат трьох кроків нормалізації: зміщення середнього, декорреляции і вирівнювання коваріації, застосованих в зазначеному порядку.
Малюнок 1.5 - Результати трьох кроків нормалізації: зміщення середнього, декорреляции і вирівнювання ковариации
. 5 Математичний метод апроксимації
Розглянемо стандартні методи апроксимації на прикладі ермітовим інтерполяції.
ермітовим інтерполяція будує многочлен, значення якого в обраних точках збігаються зі значеннями вихідної функції в цих точках, і похідні многочлена в даних точках збігаються зі значеннями похідних функції (до деякого порядку m). Це означає, що n (m + 1) величин [4]: ??
повинні бути відомі, тоді як для ньютонівської інтерполяції необхідні тільки перші n значень. Отриманий многочлен може мати ступінь не більше, ніж n (m + 1)? 1, максимальний ступінь многочлена Ньютона само дорівнює n? 1. (У загальному випадку m не обов'язково має бути фіксоване, тобто в одних точках може бути відомо значення більшої кількості похідних, ніж в інших. У цьому випадку многочлен буд...
