ності персептрона, алгоритм сходиться за кінцеве число кроків, якщо існує рішення задачі.
Основні відмінності процедури навчання Розенблатта від правила навчання Хебба полягають в наступному:
- У правилі навчання Розенблатта для персептрона присутній швидкість навчання?;
- Персептрон не змінює вагові коефіцієнти, якщо вихідні сигнали збігаються з еталонними;
- Вхідні образи з навчальної вибірки в моделі персептрона подаються до тих пір, поки не відбудеться навчання мережі.
- Персептрон навчається за кінцеве число кроків, якщо існує рішення задачі.
. 5.3 Правило навчання Відроу-Хоффа
Правило навчання Відроу-Хоффа відомо під назвою дельта правило. Воно передбачає мінімізацію середньоквадратичної помилки нейронної мережі, яка для L вхідних образів визначається наступним чином:
, (2.10)
де E (k) - середньоквадратична помилка мережі для k-го образу;
у1k і tk - відповідно вихідна і еталонне значення нейронної мережі для k-го образу.
Критерій (2.10) характеризується тим, що при малих помилках шкода є також малою величиною, так як Е менше величини відхилення (yt). При великих помилках збиток зростає, оскільки Е зростає з ростом величини помилки.
Середньоквадратична помилка нейронної мережі для одного вхідного образу визначається за формулою:
.
Правило навчання Відроу-Хоффа базується на методі градієнтного спуску в просторі вагових коефіцієнтів і порогів нейронної мережі. Згідно з цим правилом вагові коефіцієнти і пороги нейронної мережі необхідно змінювати з часом за такими виразами:
;
,
де;
?- Швидкість або крок навчання.
Знайдемо похідні середньоквадратичне помилки Е по параметрам мережі wj1 і Т:
;
;
де xjk - j-я компонента k-го образу.
Звідси одержуємо наступні вирази для навчання нейронний мережі по дельта-правилом:
; (2.11)
, (2.12)
де.
Б.Відроу і М.Хофф довели, що даний закон навчання завжди дозволяє знаходити вагові коефіцієнти нейронного елемента таким чином, щоб мінімізувати середньоквадратичнепомилку мережі незалежно від початкових значень вагових коефіцієнтів.
У правилі Відроу-Хоффа існує проблема вибору значення кроку навчання?. Якщо крок? занадто малий, то процес навчання є дуже тривалим, якщо? великий, процес навчання може виявитися розбіжним, тобто не привести до вирішення завдання. Таким чином, збіжність навчання не рятує від розумного вибору значення кроку навчання. У деяких роботах пропонується вибирати значення?, Яке зменшується в процесі навчання наступним чином:
,
де k - номер ітерації в процесі навчання.
Однак тут важливим фактором є швидкість, з якою? наближається до нуля. Якщо швидкість занадто велика, то процес навчання може закінчитися до того, як будуть отримані оптимальні результати.
. 5.4 Алгоритм зворотного поширення помилки
Алгоритм зворотного поширення помилки є одним з найбільш ефективних засобів для навчання багатошарових нейронних мереж. Алгоритм мінімізує середньоквадратичнепомилку мережі, і грунтується на наступних теоремах.
Теорема 3 Для будь-якого прихованого шару i помилка i-го нейронного елемента визначається рекурсивним чином через помилки нейронів наступного шару j:
, (2.13)
де m - число нейронів наступного шару по відношенню до шару i;
wij - синаптична зв'язок між i-м і j-м нейронами різних верств;
Sj - зважена сума j-го нейрона.
Використовуючи результати цієї теореми, можна визначити помилки нейронів прихованого шару через помилки нейронів наступного шару по відношенню до прихованого шару.
Теорема 4 Похідні середньоквадратичне помилки за ваговими коефіцієнтами і порогам нейронних елементів для будь-яких двох шарів i і j багатошарової мережі визначаються наступним чином:
;
.
Слідство 1 Для мінімізації середньоквадратичної помилки мережі вагові коефіцієнти і пороги нейронних елементів повинні змінюватися з плином часу таким чином:
;
,
де?- Швидкість навчання.
Дане наслідок визначає правило навчання багатошарових нейронних мереж в загальному вигляді, яке називається узагальненим дельта-правилом.
Розглянемо сігмоідную функции акти...
