stify"> · Або на циклі, в якому все,
· або після досягнення граничної кількості циклів.
Слід зазначити, що правило персептрона являє собою окремий випадок запропонованого багато пізніше універсального правила навчання Відроу-Хоффа (Універсальне правило коригування вхідних ваг штучної нейронної мережі в режимі навчання онлайн )
(3)
Функціонування навченого персептрона в режимі класифікації легко проілюструвати графічно на прикладі двухвходового нейрона з поляризацією, структурна схема якого дана на рис. 4.
Для такого нейрона Це вираз визначає площину в тривимірному просторі, ця площина перетинається з площиною по лінії, яка визначається рівнянням як це показано на рис. 5.
Рис. 4 Структурна схема двухвходового персептрона
Ця лінія розбиває простір вхідних сигналів на дві області: в одній з них (заштрихованої) значення, і, отже, функція активації (Функція, що обчислює значення вихідного сигналу штучного нейрона, використовуючи як аргумент зважену суму вхідних сигналів штучного нейрона) приймає значення 1; в іншій -, і.
Рис. 5 Роздільна простору вхідних даних двухвходового персептроном
Таким чином, наочно видно, що персептрон є найпростішим лінійним класифікатором. З його допомогою можна забезпечити, наприклад, класифікацію, що реалізовує логічні функції І і АБО над входами і, як це показано на рис. 6.
Рис. 6 Реалізація логічних функцій Ії АБО двухвходового персептроном
нейрокомпьютер мережу штучний
Однак реалізувати логічну функцію виключає АБО двухвходового персептроном вже неможливо (див. рис. 7).
Рис. 7 Поділ простору вхідних даних для реалізації функції виключає АБО
2.2.2 Сигмоїдальні нейрон lt; # 25 src= doc_zip42.jpg / gt ;. Структурна схема нейрона даного типу представлена ??на рис. 8.
Рис. 8 Структурна схема Сигмоїдальні нейрона
Як функції активації виступає сигмоїдальна функція (тобто функція, графік якої схожий на букву S ). На практиці використовуються як уніполярні, так і біполярні функції активації.
Уніполярна функція, як правило, представляється формулою
, (4)
тоді як біполярна функція задається у вигляді
Графіки уніполярних і біполярних сигмоїдальних функцій представлені на рис. 9 і рис. 10 відповідно.
Рис. 9 Графік уніполярної сигмоидальной функції
Рис. 10 Графік біполярної сигмоидальной функції
Коефіцієнт b визначає крутизну функцій і вибирається розробником мережі (на практиці b для спрощення призначають зазвичай рівним 1).
Похідна уніполярної функції активації має вигляд
а похідна біполярної функції -
Графіки похідних мають колоколобразний вигляд і представлені на рис. 11 і рис. 12.
Рис. 11 Графік похідною уніполярної сигмоидальной функції
Рис. 12 Графік похідною біполярної сигмоидальной функції
Для навчання Сигмоїдальні нейрона використовується стратегія з учителем (Спосіб навчання штучної нейронної мережі шляхом пред'явлення їй серії еталонних навчальних вибірок і векторів очікуваних значень вихідних сигналів), проте, на відміну від персептрона, для пошуку мінімуму целевойфункціі (1), тут використовуються методи пошукової оптимізації першого порядку, в яких цілеспрямована зміна вагових коефіцієнтів здійснюється в напрямку негативного градієнта.
j-а компонента вектора градієнта має вигляд
(5)
Позначивши, маємо
Також можливе навчання Сигмоїдальні нейрона і дискретним способом - серіями циклів уточнення вхідних ваг (синаптична вага) для кожної еталонної пари (див. правило персептрона). При цьому корекція ваг після кожного циклу виконується за наступною формулою:
,
где ?? - коефіцієнт навчання, значення якого вибирається з діапазону (0, 1).
Необхідно нагадати, що всі методи пошукової оптимізації першого порядку - це методи локального пошуку, що не гарантують досягнення глобального екстремуму. В якості спроби подолати цей недолік було запропоновано навчання з моментом, в якому корекція ваг виконується таким чином:
(6)
Останній доданок у формулі називається моментом і характеризує фактична зміна ваги в попередньому циклі (вибирається в діапазоні (0, 1)). Існує надія, що при наближенні до точки локального мінімуму (де градієнтна складова прагне до нуля) складова моменту виведе пошук з області локального мінімуму в більш перспективну обл...
