став багатошаровий перцептрон (рисунок 2.1).
Мережа складається з довільної кількості шарів нейронів. Нейрони кожного шару з'єднуються з нейронами попереднього і наступного шарів за принципом кожен з кожним raquo ;. Перший шар (ліворуч) називається сенсорним або вхідним, внутрішні шари називаються прихованими або асоціативними, останній (самий правий, на малюнку складається з одного нейрона) - вихідним або результативним. Кількість нейронів в шарах може бути довільним. Зазвичай у всіх прихованих шарах однакову кількість нейронів.
Позначимо кількість шарів і нейронів у шарі. Вхідний шар: NI нейронів; NH нейронів в кожному прихованому шарі; NO вихідних нейронів. х - вектор вхідних сигнали мережі, у - вектор вихідних сигналів.
Існує плутанина з підрахунком кількості шарів в мережі. Вхідний шар не виконує ніяких обчислень, а лише розподіляє вхідні сигнали, тому іноді його вважають, іноді - ні. Позначимо через NL повне кількість шарів в мережі, вважаючи вхідний.
Робота багатошарового перцептрона (МСП) описується формулами:
(1) (2) (3)
де індексом i завжди будемо позначати номер входу, j - номер нейрона в шарі, l - номер слоя.- ї вхідний сигнал j-го нейрона в слоеl; - ваговий коефіцієнт i-го входу нейрона номер j в шарі l; - сигнал NET j-го нейрона в шарі l;- Вихідний сигнал нейрона;
? jl - пороговий рівень нейрона j в шарі l;
Введемо позначення: Wjl - вектор-стовпець ваг для всіх входів нейрона j в шарі l; Wl - матриця ваг всіх нейронів в шарі l. У стовпцях матриці розташовані вектора Wjl. Аналогічно Xjl - вхідний вектор-стовпець шару l.
Кожен шар розраховує нелінійне перетворення від лінійної комбінації сигналів попереднього шару. Звідси видно, що лінійна функція активації може застосовується тільки для тих моделей мереж, де не потрібно послідовне з'єднання шарів нейронів один за одним. Для багатошарових мереж функція активації повинна бути нелінійної, інакше можна побудувати еквівалентну одношарову мережу, і багатошаровість виявляється непотрібною. Якщо застосована лінійна функція активації, то кожен шар буде давати на виході лінійну комбінацію входів. Наступний шар дасть лінійну комбінацію виходів попереднього, а це еквівалентно одній лінійної комбіанціі з іншими коефіцієнтами, і може бути реалізовано у вигляді одного шару нейронів.
Багатошарова мережа може формувати на виході довільну багатовимірну функцію при відповідному виборі кількості шарів, діапазону зміни сигналів і параметрів нейронів. Як і ряди, багатошарові мережі виявляються універсальним інструментом апроксимації функцій. Видно відмінність роботи нейронної мережі від розкладання функції в ряд:
Ряд:
Нейронна мережа:
За рахунок почергового розрахунку лінійних комбінацій і нелінійних перетворень досягається апроксимація довільної багатовимірної функції при відповідному виборі параметрів мережі.
У багатошаровому перцептроном немає зворотних зв'язків. Такі моделі називаються мережами прямого поширення. Вони не володіють внутрішнім станом і не дозволяють без додаткових прийомів моделювати розвиток динамічних систем.
.1 Алгоритм розв'язання задач за допомогою МСП
Щоб побудувати МСП, необхідно вибрати його параметри. Найчастіше вибір значень ваг і порогів вимагає навчання, тобто покрокових змін вагових коефіцієнтів і порогових рівнів.
Загальний алгоритм вирішення:
Визначити, який зміст вкладається в компоненти вхідного вектора x. Вхідний вектор повинен містити формалізоване умову задачі, тобто всю інформацію, необхідну для отримання відповіді.
Вибрати вихідний вектор y таким чином, щоб його компоненти містили повну відповідь поставленого завдання.
Вибрати вид нелінійності в нейронах (функцію активації). При цьому бажано врахувати специфіку завдання, тому вдалий вибір скоротить час навчання.
Вибрати число шарів і нейронів у шарі.
Признач діапазон зміни входів, виходів, ваг і порогових рівнів, враховуючи безліч значень обраної функції активації.
Присвоїти початкові значення ваговим коефіцієнтам і пороговим рівням і додатковим параметрам (наприклад, крутизні функції активації, якщо вона буде налаштовуватися при навчанні). Початкові значення не повинні бути великими, щоб нейрони не опинилися в насиченні (на горизонтальній ділянці функції активації), інакше навчання буде дуже повільним. Початкові значення не повинні бути і занадто малими, щоб виходи здебільшого нейронів були рівні нулю, інакше навчання також сповільниться.
Провести навчання, тобто підібрати параметри мережі так, щоб завдання вирішувалася найкращим чином. По закінченні навчання мережа готова вирішити завдання того типу, яким во...
