я того як значення вагових коефіцієнтів застабілізіруются, h короткочасно сильно збільшують, щоб почати градієнтний спуск з нової точки. Якщо повторення цієї процедури кілька разів призведе алгоритм в один і той же стан НС, можна більш-менш впевнено сказати, що знайдений глобальний максимум, а не якийсь інший.
.2 Алгоритми навчання без учителя
Розглянутий алгоритм навчання нейронної мережі за допомогою процедури зворотного поширення увазі наявність якогось зовнішнього ланки, що надає мережі крім вхідних так само і цільові вихідні образи. Алгоритми, що користуються подібною концепцією, називаються алгоритмами навчання з учителем. Для їх успішного функціонування необхідна наявність експертів, що створюють на попередньому етапі для кожного вхідного образу еталонний вихідний.
Головна риса, що робить навчання без учителя привабливим, - це його самостійність raquo ;. Процес навчання, як і у випадку навчання з учителем, полягає в підстроювання ваг синапсів. Деякі алгоритми, правда, змінюють і структуру мережі, тобто кількість нейронів і їх взаємозв'язку, але такі перетворення правильніше назвати ширшим терміном - самоорганізацією, і в рамках даної статті вони розглядатися не будуть. Очевидно, що підстроювання синапсів може проводитися тільки на підставі інформації, доступної в нейроні, тобто його стану і вже наявних вагових коефіцієнтів. Виходячи з цього міркування і, що більш важливо, за аналогією з відомими принципами самоорганізації нервових клітин, побудовані алгоритми навчання Хебба.
.2.1 Алгоритм навчання Хебба
Сигнальний метод навчання Хебба полягає в зміні ваг за наступним правилом:
(1)
де yi (n - 1) - вихідне значення нейрона i шару (n - 1), yj (n) - вихідне значення нейрона j шару n; wij (t) і wij (t - 1) - ваговий коефіцієнт синапсу, що з'єднує ці нейрони, на ітераціях t і t - 1 відповідно; a - коефіцієнт швидкості навчання. Тут і далі, для спільності, під n мається на увазі довільний шар мережі. При навчанні за цим методом посилюються зв'язки між збудженими нейронами.
Існує також і диференційний метод навчання Хебба.
(2)
Тут yi (n - 1) (t) і yi (n - 1) (t - 1) - вихідне значення нейрона i шару n - 1 відповідно на ітераціях t і t - 1; yj (n) (t) і yj (n) (t - 1) - те ж саме для нейрона j шару n. Як видно з формули (2), найсильніше навчаються синапси, що з'єднують ті нейрони, виходи яких найбільш динамічно змінилися у бік збільшення.
Повний алгоритм навчання із застосуванням вищенаведених формул буде виглядати так:
. На стадії ініціалізації всім ваговим коефіцієнтам привласнюються невеликі випадкові значення.
. На входи мережі подається вхідний образ, і сигнали порушення поширюються по всім верствам згідно принципам класичних прямопоточних (feedforward) мереж, тобто для кожного нейрона розраховується зважена сума його входів, до якої потім застосовується активаційна (передатна) функція нейрона, в результаті чого виходить його вихідне значення yi (n), i=0 ... Mi - 1, де Mi - число нейронів у шарі i; n=0 ... N - 1, а N - число шарів в мережі.
. На підставі отриманих вихідних значень нейронів за формулою (1) або (2) виробляється зміна вагових коефіцієнтів.
. Цикл з кроку 2, поки вихідні значення мережі не застабілізіруются із заданою точністю. Застосування цього нового способу визначення завершення навчання, відмінного від використовувався для мережі зворотного поширення, обумовлено тим, що підлаштовується значення синапсів фактично не обмежені.
На другому кроці циклу поперемінно пред'являються все образи з вхідного набору.
Слід зазначити, що вид відгуків на кожен клас вхідних образів не відомий заздалегідь і буде являти собою довільне поєднання станів нейронів вихідного шару, обумовлене випадковим розподілом ваг на стадії ініціалізації. Разом з тим, мережа здатна узагальнювати схожі образи, відносячи їх до одного класу. Тестування навченої мережі дозволяє визначити топологію класів у вихідному шарі. Для приведення відгуків навченої мережі до зручного поданням можна доповнити мережу одним шаром, який, наприклад, за алгоритмом навчання одношарового перцептрона необхідно змусити відображати вихідні реакції мережі в необхідні образи.
.2.2 Алгоритм навчання Кохонена
Другий алгоритм навчання без учителя - алгоритм Кохонена - передбачає підстроювання синапсів на підставі їх значень від попередньої ітерації.
(3)
З вищенаведеної формули видно, що навчання зводиться до мінімізації різниці між вхідними сигналами нейрона, що надходять із виходів нейронів попереднього шару yi (n - 1), і ваговими коефіцієнтами його синапсів.
Повний алгоритм навчання має приблизно таку ж структуру, як в методах Хебба, але на кроці 3 із усього шару вибирається нейрон, значення синапсів якого максимально походять на вхідний образ, і підстроювання ваг за формулою ...
