сам фізичний механізм, відповідальний за формування вхідного сигналу, теж є нелінійним (наприклад, людська мова).
Відображення вхідної інформації у вихідну: Однією з популярних парадигм навчання є навчання з учителем. Це має на увазі зміну синаптичних ваг на основі набору маркованих навчальних прикладів. Кожен приклад складається з вхідного сигналу і відповідного йому бажаного відгуку. З цієї безлічі випадковим чином вибирається приклад, а нейронна мережа модифікує синаптичні ваги для мінімізації розбіжностей бажаного вихідного сигналу і формованого мережею відповідно до обраного статистичному критерію. При цьому власне модифікуються вільні параметри мережі. Раніше використані приклади можуть згодом бути застосовані знову, але вже в іншому порядку. Це навчання проводиться до тих пір, поки зміни синаптичних ваг не стануть незначними. Таким чином, нейронна мережа навчається на прикладах, складаючи таблицю відповідностей вхід-вихід для конкретного завдання.
Адаптивність: Нейронні мережі мають здатність адаптувати свої синаптичні ваги до змін навколишнього середовища. Зокрема, нейронні мережі, навчені діяти в певному середовищі, можуть бути легко перевчити для роботи в умовах незначних коливань параметрів середовища. Більш того, для роботи в нестаціонарному середовищі можуть бути створені нейронні мережі, що змінюють синаптичні ваги в реальному часі. Природна для класифікації образів, обробки сигналів і завдань управління архітектура нейронних мереж може бути об'єднана з їх здатністю до адаптації, що призведе до створення моделей адаптивної класифікації образів, адаптивної обробки сигналів і адаптивного керування. Відомо, що чим вище адаптивні здібності системи, тим більш стійкою буде її робота в нестаціонарному середовищі. При цьому хотілося б зауважити, що адаптивність не завжди веде до стійкості; іноді вона призводить до зовсім протилежного результату. Наприклад, адаптивна система з параметрами, швидко змінюються в часі, може також швидко реагувати і на сторонні збудження, що викличе втрату продуктивності. Для того щоб використовувати всі достоїнства адаптивності, основні параметри системи повинні бути досить стабільними, щоб можна було не враховувати зовнішні перешкоди, і досить гнучкими, щоб забезпечити реакцію на істотні зміни середовища. Це завдання зазвичай називається дилемою стабільності/пластичності.
Очевидність відповіді: В контексті задачі класифікації образів можна розробити нейронну мережу, що збирає інформацію не тільки для визначення конкретного класу, але і для збільшення достовірності прийнятого рішення. Згодом ця інформація може використовуватися для виключення сумнівних рішень, що підвищить продуктивність нейронної мережі.
Контекстна інформація: Знання представляються в самій структурі нейронної мережі за допомогою її стану активації. Кожен нейрон мережі потенційно може бути підданий впливу всіх інших її нейронів. Як наслідок, існування нейронної мережі безпосередньо пов'язане з контекстної інформацією.
Отказоустойчивость: Нейронні мережі, одягнені в форму електроніки, потенційно відмовостійкості. Це означає, що при несприятливих умовах їх продуктивність падає незначно. Наприклад, якщо пошкоджений какой то нейрон або його зв'язки, витяг запомненной інформації утрудняється. Однак, беручи до уваги розподілений характер зберігання інформації в нейронної мережі, можна стверджувати, що тільки серйозні пошкодження структури нейронної мережі суттєво вплинуть на її працездатність. Тому зниження якості роботи нейронної мережі відбувається повільно. Незначне пошкодження структури ніколи не викликає катастрофічних наслідків.
Масштабованість: Паралельна структура нейронних мереж потенційно прискорює рішення деяких завдань і забезпечує масштабованість нейронних мереж в рамках технології VLSI (very large scale integrated). Однією з переваг технологій VLSI є можливість представити досить складна поведінка з допомогою ієрархічної структури.
Единбурзі аналізу і проектування: Нейронні мережі є універсальним механізмом обробки інформації. Це означає, що одне і те ж проектне рішення нейронної мережі може використовуватися в багатьох предметних областях.
Аналогія з нейробіологією: Будова нейронних мереж визначається аналогією з людським мозком, який є живим доказом того, що відмовостійкі паралельні обчислення не тільки фізично реалізовані, але і є швидким і потужним інструментом вирішення завдань. Нейробіологи розглядають штучні нейронні мережі як засіб моделювання фізичних явищ. З іншого боку, інженери постійно намагаються почерпнути у нейробіологів нові ідеї, що виходять за рамки традиційних електросхем.
Моделі нейронів
Нейрон являє собою одиницю обробки інформації в нейронної мережі. На малюнку показ...
