тична функція (сигмоїда, функція Фермі, малюнок 2.2.2):
Застосовується дуже часто для багатошарових перцептронів та інших мереж з безперервними сигналами. Гладкість, безперервність функції - важливі позитивні якості. Безперервність першої похідної дозволяє навчати мережу градієнтними методами (наприклад, метод зворотного поширення помилки).
Функція симетрична щодо точки (NET=0, OUT=1/2), це робить рівноправними значення OUT=0 і OUT=1, що істотно в роботі мережі. Тим не менш, діапазон вихідних значень від 0 до 1 несиметричний, через це навчання значно сповільнюється.
Ця функція - стискаюча, тобто для малих значень NET коефіцієнт передачі K=OUT/NET великий, для великих значень він знижується. Тому діапазон сигналів, з якими нейрон працює без насичення, виявляється широким.
Значення похідною легко виражається через саму функцію. Швидкий розрахунок похідною прискорює навчання.
. Гіперболічний тангенс (малюнок 2.2.3):
Теж застосовується часто для мереж з безперервними сигналами. Функція симетрична щодо точки (0,0), це перевага в порівнянні з сигмоид.
. Полога сходинка (малюнок 2.2.4):
Розраховується легко, але має розривну першу похідну в точках NET =? , NET =? +? що ускладнює алгоритм навчання.
. Експонента:. Застосовується в спеціальних випадках.
. SOFTMAX-функція:
Тут підсумовування проводиться по всіх нейронам даного шару мережі. Такий вибір функції забезпечує суму виходів прошарку, рівну одиниці при будь-яких значеннях сигналів NETi даного шару. Це дозволяє трактувати OUTi як імовірності подій, сукупність яких (всі виходи шару) утворює повну групу. Це корисна властивість дозволяє застосувати SOFTMAX-функцію в задачах класифікації, перевірки гіпотез, розпізнавання образів і в усіх інших, де потрібні виходи-ймовірності.
. Ділянки синусоїди:
для або
. Гауссова крива (малюнок 2.2.5):
для або
. Лінійна функція, OUT=K NET, K=const. Застосовується для тих моделей мереж, де не потрібно послідовне з'єднання шарів нейронів один за одним.
Вибір функції активації визначається:
Специфікою завдання.
Зручністю реалізації на ЕОМ, у вигляді електричної схеми або іншим способом.
Алгоритмом навчання: деякі алгоритми накладають обмеження на вид функції активації, їх потрібно враховувати.
Найчастіше вид нелінійності не робить принципового впливу на вирішення завдання. Однак вдалий вибір може скоротити час навчання в кілька разів.
. 3 Обмеження моделі нейрона
Обчислення виходу нейрона передбачаються миттєвими, що не вносять затримки. Безпосередньо моделювати динамічні системи, що мають внутрішній стан raquo ;, за допомогою таких нейронів можна.
У моделі відсутні нервові імпульси. Немає модуляції рівня сигналу щільністю імпульсів, як в нервовій системі. Чи не з'являються ефекти синхронізації, коли скупчення нейронів обробляють інформацію синхронно, під керуванням періодичних хвиль збудження-гальмування.
Немає чітких алгоритмів для вибору функції активації.
Немає механізмів, що регулюють роботу мережі в цілому (приклад - гормональна регуляція активності в біологічних нервових мережах).
Надмірна формалізація понять: поріг raquo ;, вагові коефіцієнти raquo ;. У реальних нейронах немає числового порога, він динамічно змінюється залежно від активності нейрона і загального стану мережі. Вагові коефіцієнти синапсів теж не постійні. Живі синапси володіють пластичністю і стабільністю: вагові коефіцієнти настроюються залежно від сигналів, що проходять через синапс.
Існує велика різноманітність біологічних синапсів. Вони зустрічаються в різних частинах клітини і виконують різні функції. Те 'рмозние і збуджуючі синапси реалізуються в даній моделі у вигляді вагових коефіцієнтів протилежного знаку, але різноманітність синапсів цим не обмежується. Дендро-дендритні, аксо-аксональні синапси не реалізуються в моделі ФН.
У моделі не простежується відмінність між градуально потенціалами і нервовими імпульсами. Будь-який сигнал представляється у вигляді одного числа.
Отже, модель формального нейрона не є биоподобность і скоріше схожа на математичну абстракцію, ніж на живий нейрон. Тим дивніше виявляється різноманіття завдань, що вирішуються за допомогою таких нейронів і універсальність одержуваних алгоритмів.
. Багатошаровий перцептрон
Формальні нейрони можуть об'єднуватися в мережі різним чином. Найпоширенішим видом мережі ...
