льніше навчаються синапси, що з'єднують ті нейрони, виходи яких найбільш динамічно змінилися у бік збільшення.
Повний алгоритм навчання із застосуванням вищенаведених формул буде виглядати так:
. На стадії ініціалізації всім ваговим коефіцієнтам привласнюються невеликі випадкові значення.
. На входи мережі подається вхідний образ, і сигнали порушення поширюються по всім верствам згідно принципам класичних прямопоточних (feedforward) мереж [1], тобто для кожного нейрона розраховується зважена сума його входів, до якої потім застосовується активаційна (передатна) функція нейрона, в результаті чого виходить його вихідне значення yi (n), i=0 ... Mi - 1, де Mi - число нейронів у шарі i; n=0 ... N - 1, а N - число шарів в мережі.
. На підставі отриманих вихідних значень нейронів за формулою (2.7) або (2.8) виробляється зміна вагових коефіцієнтів.
. Цикл з кроку 2, поки вихідні значення мережі не застабілізіруются із заданою точністю. Застосування цього нового способу визначення завершення навчання, відмінного від використовувався для мережі зворотного поширення, обумовлено тим, що підлаштовується значення синапсів фактично не обмежені.
На другому кроці циклу поперемінно пред'являються все образи з вхідного набору.
Слід зазначити, що вид відгуків на кожен клас вхідних образів не відомий заздалегідь і буде являти собою довільне поєднання станів нейронів вихідного шару, обумовлене випадковим розподілом ваг на стадії ініціалізації. Разом з тим, мережа здатна узагальнювати схожі образи, відносячи їх до одного класу. Тестування навченої мережі дозволяє визначити топологію класів у вихідному шарі. Для приведення відгуків навченої мережі до зручного поданням можна доповнити мережу одним шаром, який, наприклад, за алгоритмом навчання одношарового перцептрона необхідно змусити відображати вихідні реакції мережі в необхідні образи.
Другий алгоритм навчання без учителя - алгоритм Кохонена - передбачає підстроювання синапсів на підставі їх значень від попередньої ітерації.
(2.9)
З вищенаведеної формули видно, що навчання зводиться до мінімізації різниці між вхідними сигналами нейрона, що надходять із виходів нейронів попереднього шару yi (n - 1), і ваговими коефіцієнтами його синапсів.
Повний алгоритм навчання має приблизно таку ж структуру, як в методах Хебба, але на кроці 3 із усього шару вибирається нейрон, значення синапсів якого максимально походять на вхідний образ, і підстроювання ваг за формулою (2.9) проводиться тільки для нього. Ця, так звана, акредитація може супроводжуватися загальмуванням всіх інших нейронів шару і введенням вибраного нейрона в насичення. Вибір такого нейрона може здійснюватися, наприклад, розрахунком скалярного добутку вектора вагових коефіцієнтів з вектором вхідних значень. Максимальне твір дає виграв нейрон.
Інший варіант - розрахунок відстані між цими векторами в p-вимірному просторі, де p - розмір векторів.
(2.10)
де j - індекс нейрона в шарі n, i - індекс підсумовування по нейронах шару (n - 1), wij - вага синапсу, що з'єднує нейрони; виходи нейронів шару (n - 1) є вхідними значеннями для шару n. Корінь у формулі (2.10) брати не обов'язково, так як важлива лише відносна оцінка різних Dj.
В даному випадку, перемагає нейрон з найменшою відстанню. Іноді занадто часто отримують акредитацію нейрони примусово виключаються з розгляду, щоб зрівняти права всіх нейронів шару. Найпростіший варіант такого алгоритму полягає в гальмуванні тільки що виграв нейрона.
При використанні навчання за алгоритмом Кохонена існує практика нормалізації вхідних образів, а так само - на стадії ініціалізації - і нормалізації початкових значень вагових коефіцієнтів.
(2.11)
де xi - i-а компонента вектора вхідного образу або вектора вагових коефіцієнтів, а n - його розмірність. Це дозволяє скоротити тривалість процесу навчання.
Ініціалізація вагових коефіцієнтів випадковими значеннями може призвести до того, що різні класи, яким відповідають щільно розподілені вхідні образи, зіллються або, навпаки, роздрібнити на додаткові підкласи у випадку близьких образів одного й того ж класу. Для уникнення такої ситуації використовується метод опуклою комбінації [3]. Суть його зводиться до того, що вхідні нормалізовані образи піддаються перетворенню:
=(t) * (2.12)
де xi - i-а компонента вхідного образу, n - загальне число його компонент,? (t) - коефіцієнт, що змінюється в процесі навчання від нуля до одиниці, в ре...
