p>
Якщо вибрано безліч прикладів і способів обчислення помилки, то навчання нейронної мережі перетворюється в задачу багатовимірної оптимізації (що має велику розмірність). Для вирішення цього завдання використовуються такі алгоритми:
) Алгоритм локальної оптимізації з обчисленням приватних похідних 1-го порядку
) Алгоритми локальної оптимізації з обчисленням часткових похідних 1-го і 2-го порядку (м-д Ньютона, м-д Гаусса та ін.)
) Стохастичні методи оптимізації (м-д Монте Карло, поїзд у разі напрямку і т.д.)
) Алгоритми глобальної оптимізації (вирішується за допомогою перебору значень змінних)
Класифікація нейронних мереж та їх властивості.
Як правило передавальні функції всіх нейронів фіксовані, а ваги є параметрами мережі і можуть змінюватися.
Подаючи числа на входи мережі, отримуємо деякий набір чисел на виходах мережі. Загалом наступна робота мережі полягає в перетворенні вхідного потоку х в виходить вектор у; це перетворення задається вагами мережі.
Вважається, що практично будь-яке завдання розпізнання можна звести до задачі, розв'язуваної нейронною мережею.
У залежності від функцій, виконаних нейронами мережі, можна виділити 3 їх етапи:
. Вхідні нейрони (ті, на які подається вхідний вектор або вхідний сигнал, що кодує образ зовнішнього середовища). У вхідному нейроні зазвичай ніяких обчислень не відбувається, просто інформація передається з входу на вихід, шляхом зміни його активації.
. Вихідні нейрони (ті, значення яких представляють вихід мережі).
. Проміжні нейрони (складають основу штучних нейронних мереж).
Топологія нейронних мереж
Класифікація за топології:
повнозв'язні мережі;
багатошарові, або шаруваті мережі;
слабозв'язаних мережі (нейронні мережі з локальними зв'язками).
повнозв'язкову являють собою штучну нейронну мережу, кожен нейрон якої передає свій вихідний сигнал іншим нейронам в т.ч. і сам собі, тобто всі вихідні сигнали подаються всім нейронам. Вихідними сигналами мережі можуть бути всі або деякий вихідні сигнали нейронів після кількох тактів роботи мережі.
Багатошарові нейрони об'єднуються в шари. Шар містить сукупність нейронів з єдиними вхідними сигналами. Число нейронів у кожному шарі може бути будь-яким і це ніяк не пов'язано з кількістю нейронів в інших шарах. У загальних шарах така мережа складається з Q-шарів. Шари нумеруються зліва направо. 1-й шар нумерується нульовим. Крім входять і виходять шарів в багатошаровій нейронної мережі є 1 або декілька проміжних (прихованих) шарів. Зв'язки від виходів деякого шару q надходять на вхід шару (q + 1) - ці зв'язки називаються послідовними.
У свою чергу серед шаруватих мереж виділяють наступні типи:
. Монотонні.
. Мережі без зворотних зв'язків.
. Мережі зі зворотними зв'язками.
) Монотонні мережі.
Кожен шар, крім послідовного вихідного, розбитий на 2 блоку: збудливий (В) і гальмуючий (Т). Зв'язки між блоками теж розділені на збудливі і гальмуючі.
Якщо від блоку А до блоку З йдуть тільки лише збуджуючі зв'язку, це означає, що будь виходить сигнал блоку С є монотонною неубивающей функцією блоку А. Якщо, навпаки, ці зв'язки тільки гальмують, то будь-який сигнал блоку С є незростаюча функцією вихідного сигналу блоку А.
Для елементів монотонних мереж необхідно монотонна залежність вихідного сигналу від вхідного сигналу.
) Мережі без зворотних зв'язків.
Нейрони, що входять в шари отримують вхідні сигнали, перетворюють їх і передають сигнали нейронам 1-го прихованого шару. Далі спрацьовують нейрони 1-го прихованого шару, передають сигнали на 2-й прихований шар і т.д. якщо не зазначено протилежне, то кожен вихідний сигнал q-го прошарку передається на будь нейрон (q + 1) -шар.
Однак, можливі варіанти з'єднання q-шару з (q + p) -шар (p).
Одним з класичних варіантів шаруватих мереж є мережі прямого поширення.
) Мережі зі зворотним зв'язком.
У них інформація з наступних шарів можна передати на попередні.
Мережі можна розділити за принципом структури нейронів:
гомогенні (складаються з нейронів одного виду з єдиною функцією активації)
гетерогенні (можуть входити нейрони з різними функціями активації)
Бувають:
бінарні мережі (оперують тільки лише двійковими сигналами; вих...
