ного поширення помилки мережа навчається. Потім 10 біт з прихованого шару передаються на ліву вхідну матрицю, а на праву надходить черговий символ. У процесі такого рекурсивного навчання інформація стискується і шифрується, що було застосовано на практиці французьким професором Томасом Вёгтленом в 2002 році в роботі «Neural Networks and Self-Reference».
Архітектура мережі
Рис. 5
Нейронна мережа Елмана в Matlab.
За командою help elman можна одержати наступну інформацію про М-функціях, що входять до складу ППП Neural Network Toolbox і відносяться до побудови мереж Елмана:
Таблиця 5
Elman recurrent networksРекуррентние мережі ЕлманаNew networksФормірованіе сетіnewelm Створення мережі Елмана Using networksРабота з сетьюsim init adapt train Моделювання Ініціалізація Адаптація ОбученіеWeight functionsФункціі взвешіваніяdotprod ddotprod Скалярний добуток Похідна скалярного проізведеніяNet input functionsФункціі накопленіяnetsum dnetsum Сума зважених входів Похідна суми зважених входів Transfer functionsФункціі актівацііpurelin tansig logsig dpurelin dtansig dlogsig Лінійна Гіперболічний тангенс Логістична Похідна лінійної функції Похідна гіперболічного тангенса Похідна логістичної функцііPerformance functionsФункціі оцінки якості сетіmse msereg dmse dmsereg Середньоквадратична помилка навчання Середньоквадратична помилка навчання при застосуванні регуляризації Похідна середньоквадратичне помилки навчання Похідна середньоквадратичне помилки навчання при застосуванні регулярізацііInitialization functionsФункціі ініціалізації сетіinitlay initnw Пошарова ініціалізація Функція NW (Nguyen - Widrow) Learning functionsФункціі налаштування параметрів learngd learngdm Функція настройки методом градієнтного спуску Функція настройки методом градієнтного спуску з возмущеніемAdapt functionsФункціі адаптацііadapt Адаптація ваг і смещенійTraining functionsФункціі обученіяtraingd traingdm traingda Градієнтний спуск по правилу зворотного поширення помилки Градієнтний спуск з обуренням Градієнтний спуск з адаптацією параметра швидкості настройкіDemonstrationsДемонстраціонние прімериappelm1 Приклад рекуррентной мережі Елмана
5.2 Нейронна мережа (Хопфілда)
Нейро? нна мережу Хопфілда - полносвязная нейронна мережа із симетричною матрицею зв'язків. У процесі роботи динаміка таких мереж сходиться (конвергує) до одного з положень рівноваги. Ці положення рівноваги є локальними мінімумами функціоналу, званого енергією мережі (у найпростішому випадку - локальними мінімумами негативно певної квадратичної форми на n-вимірному кубі). Така мережа може бути використана як автоасоціативна пам'ять, як фільтр, а також для вирішення деяких задач оптимізації. На відміну від багатьох нейронних мереж, що працюють до отримання відповіді через певну кількість тактів, мережі Хопфілда працюють до досягнення рівноваги, коли наступний стан мережі в точності одно попередньому: початковий стан є вхідним чином, а при рівновазі отримують вихідний образ.
Архітектура мережі
Рис. 6
Нейронна мережа Хопфілда в Matlab.
За командою help hopfield можна одержати наступну інформацію про М-функціях, що входять до складу ППП Neural Network Toolbox і відносяться до побудови модифікованих мереж Хопфілда:
Таблиця 6
Hopfield recurrent networksРекуррентная модифікована мережу ХопфілдаNew networksФормірованіе сетіnewhop Створення модифікованої мережі ХопфілдаWeight functionsОпераціі з ваговою функціейdotprod Скалярний проізведеніеNet input functionsОпераціі над входаміnetsum СуммірованіеTransfer functionsФункціі актівацііsatlins Симетрична лінійна функція з ограніченіяміDemonstrationsДемонстраціонние прімериdemohop1 demohop2 demohop3 demohop4 Приклад двовимірної модифікованої мережі Хопфілда Приклад нестійкої точки рівноваги Приклад тривимірної модифікованої мережі Хопфілда Приклад стійких паразитних точок рівноваги
Мета програми
Мережа Елмана. Досліджується на прикладі такого завдання детектування амплітуди гармонійного сигналу. Нехай відомо, що на вхід нейронної мережі надходять вибірки з деякого набору синусоїд. Потрібно виділити значення амплітуд цих синусоїд.
6. Код програми
% Потрібно виділити значення амплітуд цих синусоїд.
% Далі розглядаються вибірки з набору двох синусоїд з амплітудами 1.0 і 2.0:=sin (1:20);=sin (1:20) * 2;
% Цільові виходи мережі є вектори=ones (1,20);=ones (1,20) * 2;
% Сформований набір векторів входу і цільових виходів
