(3) проводиться тільки для нього. Ця, так звана, акредитація може супроводжуватися загальмуванням всіх інших нейронів шару і введенням вибраного нейрона в насичення. Вибір такого нейрона може здійснюватися, наприклад, розрахунком скалярного добутку вектора вагових коефіцієнтів з вектором вхідних значень. Максимальне твір дає виграв нейрон.
Інший варіант - розрахунок відстані між цими векторами в p-вимірному просторі, де p - розмір векторів.
, (4)
де j - індекс нейрона в шарі n, i - індекс підсумовування по нейронах шару (n - 1), wij - вага синапсу, що з'єднує нейрони; виходи нейронів шару (n - 1) є вхідними значеннями для шару n. Корінь у формулі (4) брати не обов'язково, так як важлива лише відносна оцінка різних Dj.
В даному випадку, перемагає нейрон з найменшою відстанню. Іноді занадто часто отримують акредитацію нейрони примусово виключаються з розгляду, щоб зрівняти права всіх нейронів шару. Найпростіший варіант такого алгоритму полягає в гальмуванні тільки що виграв нейрона.
При використанні навчання за алгоритмом Кохонена існує практика нормалізації вхідних образів, а так само - на стадії ініціалізації - і нормалізації початкових значень вагових коефіцієнтів.
, (5)
де xi - i-а компонента вектора вхідного образу або вектора вагових коефіцієнтів, а n - його розмірність. Це дозволяє скоротити тривалість процесу навчання.
Ініціалізація вагових коефіцієнтів випадковими значеннями може призвести до того, що різні класи, яким відповідають щільно розподілені вхідні образи, зіллються або, навпаки, роздрібнити на додаткові підкласи у випадку близьких образів одного й того ж класу. Для виключення такої ситуації використовується метод опуклою комбінації. Суть його зводиться до того, що вхідні нормалізовані образи піддаються перетворенню:
, (6)
де xi - i-а компонента вхідного образу, n - загальне число його компонент, a (t) - коефіцієнт, що змінюється в процесі навчання від нуля до одиниці, в результаті чого спочатку на входи мережі подаються практично однакові образи, а з часом вони все більше сходяться до вихідних. Вагові коефіцієнти встановлюються на кроці ініціалізації рівними величині
, (7)
де n - розмірність вектора ваг для нейронів ініціалізіруемих шару.
На основі розглянутого вище методу будуються нейронні мережі особливого типу - так звані структури, що самоорганізуються - self-organizing feature maps. Для них після вибору з шару n нейрона j з мінімальною відстанню Dj (4) навчається за формулою (3) не тільки цей нейрон, але і його сусіди, розташовані в околиці R. Величина R на перших ітераціях дуже велика, так що навчаються всі нейрони , але з плином часу вона зменшується до нуля. Таким чином, чим ближче кінець навчання, тим точніше визначається група нейронів, що відповідають кожному класу образів. У наведеній нижче програмі використовується саме цей метод навчання.
. Нейронні мережі Хопфілда та Хеммінга
Серед різних конфігурацій штучних нейронних мереж (НС) зустрічаються такі, при класифікації яких за принципом навчання, строго кажучи, не підходять ні навчання з учителем, ні навчання без учителя. У таких мережах вагові коефіцієнти синапсів розраховуються тільки одного разу перед початком функціонування мережі на основі інформації про оброблюваних даних, і все навчання мережі зводиться саме до цьогорозрахунком. З одного боку, пред'явлення апріорної інформації можна розцінювати, як допомога вчителя, але з іншого - мережа фактично просто запам'ятовує зразки до того, як на її вхід надходять реальні дані, і не може змінювати свою поведінку, тому говорити про ланку зворотного зв'язку з світом (вчителем) не доводиться. З мереж з подібною логікою роботи найбільш відомі мережу Хопфілда і мережа Хеммінга, які зазвичай використовуються для організації асоціативної пам'яті.
Структурна схема мережі Хопфілда приведено малюнку 4.1. Вона складається з єдиного шару нейронів, число яких є одночасно числом входів і виходів мережі. Кожен нейрон зв'язаний синапсами з усіма іншими нейронами, а також має один вхідний синапс, через який здійснюється введення сигналу. Вихідні сигнали, як зазвичай, утворюються на аксонах.
Малюнок 4.1 - Структурна схема мережі Хопфілда
Завдання, розв'язувана даною мережею в якості асоціативної пам'яті, як правило, формулюється таким чином. Відомий деякий набір двійкових сигналів (зображень, звукових оцифровок, інших даних, що описують якісь об'єкти або характеристики процесів), які вважаються зразковими. Мережа повинна вміти з довільного неідеального сигналу, поданого на її вхід, виділити ( згадати по частковій інформації) відповідний зразок (якщо такий є) або дати висновок про те, що вхідні дані не відповідають жодному із зразків. У загальному випадку, будь-який сигнал може бути описаний вектором X={xi: ...
