навченої на даній навчальній вибірці, якщо при подачі на входи мережі кожного вектора x на виходах щоразу виходить відповідний вектор y. Запропонований Ф.Розенблаттом метод навчання полягає в ітераційної підстроюванні матриці ваг, послідовно зменшує помилку в вихідних векторах. Алгоритм включає кілька кроків:
Крок 0. Початкові значення ваг всіх нейронів покладаються випадковими.
Крок 1. Мережі пред'являється вхідний образ x, в результаті формується вихідний образ.
Крок 2. Обчислюється вектор помилки, робити мережею на виході. Подальша ідея полягає в тому, що зміна вектора вагових коефіцієнтів в області малих помилок повинно бути пропорційно помилку на виході, і дорівнює нулю якщо помилка дорівнює нулю.
Крок 3. Вектор ваг модифікується за наступною формулою:. Тут - темп навчання.
Крок 4. Кроки 1-3 повторюються для всіх навчальних векторів. Один цикл послідовного пред'явлення всієї вибірки називається епохою. Навчання завершується після закінчення декількох епох, а) коли ітерації зійдуться, тобто вектор ваг перестає змінюватися, або б) коли повна просумовану по всіх векторах абсолютна помилка стане менше деякого мінімального значення.
Використовувана на кроці 3 формула враховує такі обставини: а) модифікуються тільки компоненти матриці ваг, що відповідають ненульовим значенням входів; б) знак прирощення ваги відповідає знаку помилки, тобто позитивна помилка (d gt; 0, значення виходу менше необхідного) проводить до посилення зв'язку; в) навчання кожного нейрона відбувається незалежно від навчання інших нейронів, що відповідає важливому з біологічної точки зору, принципу локальності навчання. Даний метод навчання був названий Ф.Розенблаттом методом корекції зі зворотним передачею сигналу помилки. Пізніше більш широко стало відомо назву d-правило. Представлений алгоритм відноситься до широкого класу алгоритмів навчання з учителем, оскільки відомі як вхідні вектора, так і необхідні значення вихідних векторів. Доведена Розенблатта теорема про збіжність навчання по d-правилом говорить про те, що персептрон здатний навчиться будь обучающему набору, який він здатний уявити.
Лінійна разделімость і персептрони представляемо
Кожен нейрон персептрона є формальним пороговим елементом, приймаючим поодинокі значення у випадку, якщо сумарний зважений вхід більше деякого порогового значення: Таким чином, при заданих значеннях ваг і порогів, нейрон має певне значення вихідний активності для кожного можливого вектора входів. Безліч вхідних векторів, при яких нейрон активний (y=1), відокремлене від безлічі векторів, на яких нейрон пасивний (y=0) гиперплоскостью, рівняння якої є, суть: Отже, нейрон здатний відокремити (мати різний вихід) тільки такі дві множини векторів входів, для яких є гіперплоскость, що відсікає одну безліч від іншого. Такі безлічі називають лінійно разделімого. Проілюструємо це поняття на прикладі. Нехай є нейрон, для якого вхідний вектор містить тільки дві булеві компоненти, що визначають площину. На даній площині можливі значення векторів відповідають вершинам одиничного квадрата. У кожній вершині визначено необхідну значення активності нейрона 0 або 1. Потрібно визначити, чи існує таке такий набір ваг і порогів нейрона, при якому цей нейрон зможе відокремити точки різного кольору? Представлена ??одна з ситуацій, коли цього зробити не можна внаслідок лінійної нероздільності множин білих і чорних крапок. Білі точки не можуть бути відокремлені одній прямій від чорних. Необхідна активність нейрона для цього малюнка визначається таблицею, в якій не важко впізнати завдання логічної функції виключає або.
X1X2Y000101011110 Рис. 3. Завдання логічної функції виключає або
Лінійна неподільність множин аргументів, що відповідають різним значенням функції означає, що функція виключає або, настільки широко використовується в логічних пристроях, не може бути представлена ??формальним нейроном. Настільки скромні можливості нейрона і послужили основою для критики персептронного напрямки Ф.Розенблатта з боку М.Мінскі і С.Пейперта. При зростанні числа аргументів ситуація ще більш катастрофічна: відносне число функцій, які мають властивість лінійної разделімость різко зменшується. А значить і різко звужується клас функцій, який може бути реалізований персептроном.
Неокогнітрон і інваріантне розпізнавання образів
Створення когнітрону стало плодом синтезу зусиль нейрофізіологів і психологів, а також фахівців в області нейрокібернетики, спільно зайнятих вивченням системи сприйняття людини. Дана нейронна мережа одночасно є як моделлю процесів сприйняття на мікрорівні, так і обчислювальною системою, яка застосовується для технічних завдань роз...
