ієнта функції помилки. Різниця між реальними і правильними відповідями нейронної мережі, обумовленими на вихідному шарі, поширюється у зворотному напрямку (рис. 2.4) - назустріч потоку сигналів. У результаті кожен нейрон здатний визначити внесок кожного своєї ваги у сумарну помилку мережі. Найпростіше правило навчання відповідає методу найшвидшого спуску, тобто зміни синаптичних ваг пропорційно їхньому внеску в загальну помилку.
Рис. 2.4. Метод зворотного поширення помилки для багатошарової полносвязанной нейронної мережі
Звичайно, при такому навчанні нейронної мережі немає впевненості, що вона навчилася найкращим чином, оскільки завжди існує можливість попадання алгоритму в локальний мінімум (рис. 2.5). Для цього використовуються спеціальні прийоми, що дозволяють вибити знайдене рішення з локального екстремуму. Якщо після кількох таких дій нейронна мережа сходиться до того ж рішення, то можна сделать висновок про те, що знайдене рішення, швидше за все, оптимально.
Рис. 2.5. Метод градієнтного спуску при мінімізації помилки мережі
. 9.1 Навчання з учителем
При навчанні з учителем існує вчитель, який пред'являє вхідні образи мережі, порівнює результуючі виходи з необхідними значеннями, а потім налаштовує ваги мережі таким чином, щоб зменшити відмінності. Навчання з учителем припускає, що для кожного вхідного вектора існує цільовий вектор, що представляє собою необхідний вихід. Разом вони називаються навчальною парою. Зазвичай мережа навчається на деякому числі таких навчальних пар. Пред'являється вихідний вектор, обчислюється вихід мережі і порівнюється з відповідним цільовим вектором, різниця (помилка) за допомогою зворотного зв'язку подається в мережу, і ваги змінюються відповідно до алгоритму, що прагнуть мінімізувати помилку. Вектори навчальної множини пред'являються послідовно, обчислюються помилки і ваги підлаштовуються для кожного вектора доти, поки помилка по всьому навчальному масиву не досягне прийнятно низького рівня.
. 9.2 Навчання без учителя
Навчання з учителем критикувалося за свою біологічну неправдоподібність. Важко уявити навчальний механізм в мозку, який би порівнював бажані і дійсні значення виходів, виконуючи корекцію за допомогою зворотного зв'язку. Навчання без вчителя є набагато більш правдоподібною моделлю навчання в біологічній системі. Розвинена Кохоненом та іншими, вона не потребує цільового векторі для виходів і, отже, не вимагає порівняння з зумовленими ідеальними відповідями. Навчальна множина складається лише з вхідних векторів. Навчальний алгоритм підлаштовує ваги мережі так, щоб виходили узгоджені вихідні вектори, тобто щоб пред'явлення досить близьких вхідних векторів давало однакові виходи. Процес навчання, отже, виділяє статистичні властивості навчальної множини і групує подібні вектори в класи. Пред'явлення на вхід вектора з даного класу дасть певний вихідний вектор, але до навчання неможливо передбачити, який вихід буде вироблятися даним класом вхідних векторів. Отже, виходи подібної мережі повинні трансформуватися в деяку зрозумілу форму, зумовлену процесом навчання.
Головна риса, що робить навчання без учителя привабливим, - це його самостійність raquo ;. Процес навчання, як і у випадку навчання з учителем, полягає в підстроювання ваг синапсів. Деякі алгоритми, правда, змінюють і структуру мережі, тобто кількість нейронів і їх взаємозв'язку, але такі перетворення правильніше назвати ширшим терміном - самоорганізацією, і в рамках даної глави вони розглядатися не будуть. Очевидно, що підстроювання синапсів може проводитися тільки на підставі інформації, доступної в нейроні, тобто його стану і вже наявних вагових коефіцієнтів. Виходячи з цього міркування і, що більш важливо, за аналогією з відомими принципами самоорганізації нервових клітин, побудовані алгоритми навчання Хебба.
Сигнальний метод навчання Хебба полягає в зміні ваг за наступним правилом:
(2.7)
де yi (n - 1) - вихідне значення нейрона i шару (n - 1), yj (n) - вихідне значення нейрона j шару n; wij (t) і wij (t - 1) - ваговий коефіцієнт синапсу, що з'єднує ці нейрони, на ітераціях t і t - 1 відповідно; a - коефіцієнт швидкості навчання. Тут і далі, для спільності, під n мається на увазі довільний шар мережі. При навчанні за цим методом посилюються зв'язки між збудженими нейронами.
Існує також і диференційний метод навчання Хебба.
(2.8)
Тут yi (n - 1) (t) і yi (n - 1) (t - 1) - вихідне значення нейрона i шару n - 1 відповідно на ітераціях t і t - 1; yj (n) (t) і yj (n) (t - 1) - те ж саме для нейрона j шару n. Як видно з формули (2), найси...
