ряд з функцією
ВИКЛЮЧАЄ АБО ), що не реалізовуються одношарової мережею. Про ці функції кажуть, що вони є лінійно нероздільними, і вони накладають певні обмеження на можливості одношарових мереж. Лінійна разделимость обмежує одношарові мережі завданнями класифікації, в яких безлічі точок (відповідних вхідним значенням) можуть бути розділені геометрично. У випадку двох входів роздільник є прямою лінією. У разі трьох входів поділ здійснюється площиною, що розтинає тривимірний простір. Для чотирьох або більше входів візуалізація неможлива і необхідно подумки уявити n-мірний простір, розсікають гиперплоскостью - геометричним об'єктом, який розсікає простір чотирьох або більшої кількості вимірів. Як показано в [9], ймовірність того, що випадково обрана функція виявиться лінійно разделімого, дуже мала. Так як лінійна разделимость обмежує можливості персептронного подання, то одношарові персептрони на практиці обмежені простими задачами.
Щоб мережа представляла практичну цінність, потрібен систематичний метод (алгоритм) для обчислення значень ваг і порогів. Процедуру підстроювання ваг зазвичай називають навчанням. Мета навчання полягає в тому, щоб для деякого безлічі входів давати бажане безліч виходів. Алгоритм навчання персептрона був запропонований в [4] і має безліч модифікацій.
Багатошарові мережі
Серйозне обмеження представляемости одношаровими мережами можна подолати, додавши додаткові шари. Багатошарові мережі можна отримати каскадним з'єднанням одношарових мереж, де вихід одного шару є входом для наступного шару, причому така мережа може привести до збільшення обчислювальної потужності лише в тому випадку, якщо активаційна функція між шарами буде нелінійною.
Багатошарові мережі здатні виконувати загальні класифікації, відділяючи ті точки, які міститися в опуклих обмежених або необмежених областях. Якщо розглянути просту двошарову мережу з двома нейронами в першому шарі, з'єднаними з єдиним нейроном в другому шарі, то кожен нейрон першого шару розбиває площину на дві півплощини, утворюючи в просторі образів V-подібну область, а нейрон другого шару реалізує різні функції при відповідному виборі ваг і порога. Аналогічно в другому шарі може бути використано три нейрона з подальшим розбивкою площині і створенням області трикутної форми. Включенням достатнього числа нейронів у вхідний шар може бути утворений опуклий багатокутник будь-якої бажаної форми. Точки, що не становлять опуклої області, не можуть бути відокремлені про інших точок площини двошаровою мережею.
Тришарова мережа є більш загальної. Її классифицирующие можливості обмежені лише числом штучних нейронів і ваг. Обмеження на опуклість відсутні. Тепер нейрон третього шару приймає як входу набір випуклих багатокутників, і їх логічна комбінація може бути неопуклого. При додаванні нейронів і ваг число сторін багатокутника може необмежено зростати. Це дозволяє апроксимувати область будь-якої форми з будь-якою точністю. У добавок не всі вихідні області другого шару повинні перетинатися. Можливо, отже, об'єднувати різні області, опуклі і неопуклі, видаючи на виході одиницю щоразу, коли вхідний вектор належить одній з них.
Для навчання штучних нейронних мереж широко застосовується процедура зворотного поширення
Мережі Хопфілда
Мережі, р...
