КЛЮЧАЄ АБО. Таким чином, лінійна поділяюча поверхня, формована нейронною мережею з одним шаром обробних нейронних елементів, обмежує коло вирішуваних завдань. Це свого часу показали американські вчені М.Мінскі і С.Пайперт.
Розглянемо багатошарову нейронну мережу, кожен нейрон якої має лінійну функцію активації (2.2). Така нейронна мережа є мережею з прямим поширенням сигналів. Вона характеризується тим, що кожен нейронний елемент попереднього шару має синоптичні зв'язки з усіма нейронними елементами наступного шару, малюнок 2.12. На цьому малюнку зображені синоптичні з'єднання тільки для одного нейрона кожного з шарів. Зв'язки інших нейронів будуть ідентичними. Для багатошарової нейронної мережі наведемо доказ теореми:
Теорема 1 Багатошарова нейронна мережа з лінійною функцією активації нейронних елементів еквівалентна одношарової нейронної мережі з відповідною функцією активації нейронних елементів.
Доказ. Вихідні значення нейронної мережі в матричній формі визначаються наступним чином:
,
де Х (2) - матриця вихідних сигналів проміжного шару;
W (2) - матриця вагових коефіцієнтів вихідного шару.
Аналогічно, матрицю вихідних значень проміжного шару можна представити у вигляді:
.
Звідси отримуємо:
,
,
,
Що й потрібно було довести.
а) б) в)
Малюнок 2.11 - Графічна інтерпретація вирішення логічних завдань типів і (а), або (б) і виключає або (в)
Малюнок 2.12 - Багатошарова лінійна мережу
.4.2 Багатошарові нейронні мережі
Багатошарова нейронна мережа здатна здійснювати будь-яке відображення вхідних векторів у вихідні. Найбільшого поширення набули нейронні мережі з шаруватою архітектурою, і сігмоідной функцією активації (2.4) нейронних елементів у всіх шарах крім вхідного. Функція активації нейронів вхідного шару, як зазначалося раніше, є лінійною.
Нехай W (i) - матриця вагових коефіцієнтів i-го шару багатошарової мережі. Тоді для нейронної мережі з двома прихованими шарами вихідні значення:
,
де Х=(х1, х2, ..., хn) - вектор-рядок вхідних сигналів;
F - оператор нелінійного перетворення.
Загальне число синоптичних зв'язків:
,
де p - загальне число шарів нейронної мережі;
k (i) - кількість нейронних елементів в i-му шарі.
Число шарів в багатошаровій нейронної мережі характеризує, яким чином вхідний простір може бути розбите на підпростору меншої розмірності. Так, двошарова нейронна мережа з одним шаром нелінійних нейронів розбиває вхідний простір образів на класи за допомогою гіперплощини. Тришарова нейронна мережа, де в якості двох останніх шарів використовуються нейронні елементи з нелінійною функцією активації, дозволяє формувати будь опуклі області в просторі рішень. Чотиришарова нейронна мережа, яка має три нелінійних шару, дає можливість отримувати область рішень будь-якої форми і складності, в тому числі і неопуклого.
Розглянемо рішення задачі ВИКЛЮЧАЄ АБО за допомогою тришарової нейронної мережі. На малюнку 2.13 показана така мережа, створена в програмі, описуваної в п.3 із зазначенням вагових коефіцієнтів і порогових значень нейронних елементів. Шар прихованих нейронних елементів розбиває вхідний простір образів на класи за допомогою двох прямих, малюнок 2.14. Вихідний нейронний елемент здійснює композицію класів для реалізації функції ВИКЛЮЧАЄ АБО. Як функції активації нелінійних нейронних елементів використовується сігмоідной функція, а оскільки вона ніколи не досягає значень 0 і 1, то замість 0 використовується 0,1, а замість 1 - 0,9. Вибір конкретних значень 0,1 і 0,9 не обов'язковий, оскільки зазвичай вважається, що мережа навчилася виконувати завдання, коли всі вихідні дані потрапляють в певні допустимі рамки.
Малюнок 2.13 - Нейронна мережа для вирішення завдання виключає або
Малюнок 2.14 - Графічна ілюстрація рішення задачі виключає або
У 1957р. А.Н.Колмогоров показав, що будь-яку безперервну функцію n змінних на одиничному відрізку [0, 1] можна представити у вигляді суми кінцевого числа одновимірних функцій:
,
де функції g і? p є одновимірними і безперервними;
? i=const для всіх i.
З даної теореми випливає, що будь-яку безперервну функцію f: [0, 1] n? [0, 1] можна апроксимувати за допомогою тришарової нейронної мережі, яка має n вхідних, (2n + 1) прихованих і один вихідний нейрон. Однак проблема тут полягає у виборі відповідних функцій g і?. У 1988р. ряд авторів узагальнили наведені результати на б...
