>
З початку 80-х настав новий період у розвитку ІНС. Основними подіями були розробка Хопфілд ІНС з повністю пов'язаної структурою і оригінальним алгоритмом настройки ваг. У 1982 в продовження досліджень фон Мальсбурга виходить робота Кохонена, присвячена самоорганизующимся картам. Але справжній прорив у застосуванні ІНС для вирішення практичних завдань (в тому числі і управління) був зроблений після того, як в 1986 р Румельхарт, Хінтон і Вільямс описали алгоритм зворотного поширення. Це був перший ефективний алгоритм навчання багатошарових перцептронів будь-якої структури (і, як виявилося пізніше, не тільки їх).
Цікаво, що в ще 1985 незалежно вийшли дві роботи Паркера і Ле-Кана з описом алгоритму зворотного поширення. Однак виявилося, що вперше цей алгоритм був детально описаний в 1974 р в докторській дисертації Вербоса. На жаль, тоді на нього ніхто не звернув уваги, і було потрібно більше десяти років, щоб ця проста, але витончена схема була перевідкриття.
У 1988 р відбулося останнє на сьогоднішній день велике відкриття в теорії ІНС, пов'язане з введенням Брумхед і Лоуе РБФ-мереж. Це - альтернативна багатошаровому перцептроном схема шарової прямонаправленное мережі, що використовує приховані нейрони з радіально-базисної активаційною функцією. Ідеологічно ідея радіально-базисних функції пов'язана з методом потенційних функцій, запропонованим в 1964 р Башкіровим, Браверманом і Мучником. У своїх роботах Брумхед і Лоуе не тільки запропонували новий метод синтезу ІНС, але й приділили величезну увагу встановленню зв'язків між ІНС і класичними методами чисельного аналізу, а також теорією лінійних адаптивних фільтрів.
. 8 Архітектура штучних нейронних мереж
ІНС може розглядатися як спрямований граф зі зваженими зв'язками, в якому штучні нейрони є вузлами. За архітектурою зв'язків ІНС можуть бути згруповані в два класи (рис. 1.5): мережі прямого поширення, в яких графи не мають петель, і рекурентні мережі, або мережі із зворотними зв'язками.
Рис. 1.5. Архітектурі зв'язків ІНС
У найбільш поширеному сімействі мереж першого класу, званих багатошаровим персептроном, нейрони розташовані шарами і мають односпрямовані зв'язку між шарами. На рис. представлені типові мережі кожного класу. Мережі прямого поширення є статичними в тому сенсі, що на заданий вхід вони виробляють одну сукупність вихідних значень, що не залежать від попереднього стану мережі. Рекурентні мережі є динамічними, тому що в силу зворотних зв'язків у них модифікуються входи нейронів, що призводить до зміни стану мережі.
У загальному випадку поняття штучна нейронна мережа охоплює ансамблі нейронів будь-якої структури, проте практичне застосування знайшли тільки деякі з них. Це пояснюється тим, що архітектура ІНС безпосередньо пов'язана з методом її навчання. Навіть різні етапи розвитку ІНС визначалися появою нових архітектур мереж і спеціально розроблених для них методів навчання.
Штучний нейрон (або просто нейрон) є елементарним функціональним модулем, з безлічі яких будуються ІНС. Він являє собою модель живого нейрона, однак лише в сенсі здійснюваних ним перетворень, а не способу функціонування. Існують логічні, безперервні і імпульсні [28] моделі нейрона. Логічні моделі нейрона (в приватності, описуваний картою Відень формальний нейрон) активно досліджувалися в 60-70-х роках, але не отримали подальшого розвитку. Імпульсні моделі більш близькі до фізичній природі процесів, що відбуваються в нервовій клітині, проте їх теорія не так розвинена як у безперервних, і вони все ще не знаходять широкого застосування.
Нейрон (рис. 1.6) складається з:
Адаптивний суматор обчислює скалярний добуток вектора вхідного сигналу на вектор параметрів. Адаптивним він називається через наявність вектора параметрів, що настроюються. Для багатьох завдань корисно мати лінійну неоднорідну функцію вихідних сигналів, для цього додають постійний одиничний вхідний сигнал.
Нелінійний перетворювач сигналу - отримує скалярний вхідний сигнал і відповідним чином його перетворює.
Точка розгалуження служить для розсилки одного сигналу за кількома адресами. Вона отримує скалярний вхідний сигнал і передає його всім своїм виходам.
Рис. 1.6 Формальний нейрон
Формальний нейрон реалізує передавальну функцію:
(1.1)
З формальних нейронів можна складати шари нейронів, які в свою чергу можна об'єднувати в багатошарові мережі (рис. 1.7). Нейрони вхідного шару отримують сигнали, перетворюють їх і через точки розгалуження передають нейронам прихованого шару. Далі спрацьовує наступн...
