озглянуті вище, не мали зворотних зв'язків, тобто зв'язків, що йдуть від виходів мережі до їх входів. Відсутність зворотних зв'язків гарантує безумовну стійкість мереж. Оскільки мережі із зворотними зв'язками мають шляхи від виходів до входів, то відгук таких мереж є динамічним, тобто після додатка нового входу обчислюється вихід і, передаючись по мережі зворотного зв'язку, модифікує вхід. Потім вихід повторно обчислюється і процес повторюється знову і знову. Для стійкої мережі послідовні ітерації приводять до все менших змін виходу, поки зрештою вихід не стає постійним. Для багатьох мереж процес ніколи не закінчується, такі мережі називаються нестійкими. Проблема стійкості ставила в тупик перших дослідників. Ніхто не був в змозі передбачити, які з мереж будуть стійкими, а які будуть знаходиться в постійній зміні. На щастя, в роботі [10] була отримана теорема, що описала підмножину мереж із зворотними зв'язками, виходи яких зрештою досягають стійкого стану. Це чудове досягнення відкрило дорогу подальшим дослідженням.
Дж. Хопфілд зробив важливий внесок як в теорію, так і в застосування систем із зворотними зв'язками. У його роботі [11] при імітації поведінки ансамблю нейронів використовувалися змінні, що описують стану нейронів (вектор стану s), і змінні, що описують зв'язки між нейронами (оператор пам'яті W), а також два рівняння, що визначають зміна s з часом. Одне з цих рівнянь представляє зміна s під дією оператора W (вироблення реакції на стимул), а друге - зміна матриці W, квадратичне по s (запам'ятовування). При цьому вектор стану ансамблю нейронів являє собою вектор у фазовому просторі динамічної системи, а пам'ять реалізована як система аттракторов. Запам'ятовування нової інформації здійснюється шляхом ускладнення за певним алгоритмом структури аттракторов. Такий підхід допускає просту механічну аналогію, якщо уявити собі вектор стану як положення частинки, що рухається під дією сили тяжіння і тертя по деякому рельєфу. При скачуванні з гори в одну з низин потенційна енергія системи зменшується, і врешті-решт матеріальна точка зупиняється через тертя. Положення частинки в кінцевому стані (тобто та з низин, в якій вона зупиняється) залежить як від форми рельєфу, так і від початкового стану, з якого почалося скочування. Функціонування мережі легко візуалізується геометрично. У випадку двох бінарних нейронів у вихідному шарі кожній вершині квадрата відповідає одне з чотирьох станів системи (00,01,10,11). У разі трехнейронной системи простір образів представлено кубом (в тривимірному просторі), які мають 8 вершин, кожна з яких позначена трехбітовим бінарним числом. У загальному випадку система з n нейронами має 2 n різних сосояніі і представляється n - мірним гиперкубом. Коли подається новий вхідний вектор, мережа переходить з вершини у вершину, поки не стабілізується. Стійка вершина визначається мережевими вагами, т?? Кущімі входами і величиною порога. Якщо вхідний вектор частково неправильний або неповний, то мережа стабілізується до вершини, найближчої до бажаної.
Додатково в ході аналізу поставленого завдання були знайдені наступні узагальнені рішення на базі нейронних мереж з точки зору їх реалізації:
Процес навчання нейромережі:
· завдання параметрів навчання нейромережі;
· процес навчання нейромережі;
· збереження вагових коефіцієнтів нейромережі; ...
