ана модель нейрона, що лежить в основі штучних нейронних мереж.
У цій моделі можна виділити три основні елементи.
Набір синапсів або зв'язків, кожен з яких характеризується своєю вагою або силою. Зокрема, сигнал на вході синапсу j, пов'язаного з нейроном до, множиться на вагу Wkj. Важливо звернути увагу на те, в якому порядку вказані індекси синаптического ваги Wkj. Перший індекс відноситься до розглянутого нейрону, а другий - до вхідного закінченню синапсу, з яким пов'язаний даний вагу. На відміну від синапсів мозку синаптична вага штучного нейрона може мати як позитивні, так і негативні значення.
Суматор складає вхідні сигнали, зважені щодо відповідних синапсів нейрона. Цю операцію можна описати як лінійну комбінацію.
Функція активації обмежує амплітуду вихідного сигналу нейрона. Ця функція також називається функцією стиснення. Зазвичай нормалізований діапазон амплітуд виходу нейрона лежить в інтервалі [0, 1] або [- 1, 1].
Подання нейронних мереж за допомогою направлених графів
Блокові діаграми забезпечують функціональний опис різних елементів, з яких складається модель штучного нейрона. Зовнішній вигляд моделі можна значною мірою спростити, застосувавши ідею графів проходження сигналу.
Граф передачі сигналу - це мережа спрямованих зв'язків, що з'єднують окремі вузли. З кожним вузлом j пов'язаний сигнал Xj. Звичайна спрямована зв'язок починається в деякому вузлі j і закінчується в іншому вузлі k. З нею пов'язана деяка передавальна функція, визначальна залежність сигналу Yk вузла k від сигналу Xj вузла j. Проходження сигналу по різних частинах графа підпорядковується трьом основним правилам.
Напрямок проходження сигналу уздовж кожної зв'язку визначається напрямком стрілки. При цьому можна виділити два типи зв'язків.
Синаптичні зв'язку: Їх поведінка визначається лінійним співвідношенням вхід/вихід. А саме сигнал вузла Xj множиться на синаптична вага Wkj, в результаті чого виходить сигнал вузла Yk.
Активаційні зв'язку: Їх поведінка визначається нелінійним співвідношенням вхід/вихід.
Сигнал вузла дорівнює алгебраїчній сумі сигналів, що надходять на його вхід.
Сигнал даного вузла передається по кожній вихідного зв'язку без урахування передавальних функцій вихідних зв'язків.
Беручи в якості моделі нейрона граф проходження сигналу, можна сформулювати ще одне визначення нейронної мережі.
Нейронна мережа - це спрямований граф, що складається з вузлів, з'єднаних синаптическими і активаційними зв'язками, який характеризується наступними чотирма властивостями.
Кожен нейрон представляється безліччю лінійних синаптичних зв'язків, зовнішнім порогом і, можливо, нелінійної зв'язком активації. Поріг, представлений вхідний синаптичної зв'язком, вважається рівним +1.
Синаптичні зв'язку нейрона використовуються для зважування відповідних вхідних сигналів.
Зважена сума вхідних сигналів визначає індуковане локальне поле кожного конкретного нейрона.
Активаційні зв'язку модифікують індуковане локальне поле нейрона, створюючи вихідний сигнал.
Зворотній зв`язок
Поняття зворотного зв'язку (feedback) характерно для динамічних систем, в яких вихідний сигнал деякого елемента системи впливає на вхідний сигналу цього елемента. Таким чином, деякі зовнішні сигнали посилюються сигналами, циркулюючими всередині системи.
На насправді зворотний зв'язок присутній в нервовій системі практично будь-якої тварини. Більш того, вона відіграє важливу роль у вивченні особливого класу нейронних мереж, званих рекурентними.
Архітектура мереж
У загальному випадку можна виділити три фундаментальні класи нейромережевих архітектур.
Одношарові мережі прямого поширення
У багатошаровій нейронної мережі нейрони розташовуються по верствам. У найпростішому випадку в такій мережі існує вхідний шар вузлів джерела, інформація від якого передається на вихідний шар нейронів, але не навпаки. Така мережа називається мережею прямого поширення або ациклічності мережею. На малюнку показана структура такої мережі для випадку чотирьох вузлів в кожному з шарів. Така нейронна мережа називається одношарової, при цьому під єдиним шаром мається на увазі шар обчислювальних елементів.
Багатошарові мережі прямого поширення
Інший клас нейронних мереж пр...
