ямого поширення характеризується наявністю одного або декількох прихованих шарів, вузли яких називаються прихованими нейронами. Функція останніх полягає в посередництві між зовнішнім вхідним сигналом і виходом нейронної мережі. Додаючи один або кілька прихованих шарів, ми можемо виділити статистики високого порядку. Така мережа дозволяє виділяти глобальні властивості даних за допомогою локальних з'єднань за рахунок наявності додаткових синаптичних зв'язків та підвищення рівня взаємодії нейронів. Здатність прихованих нейронів виділяти статистичні залежності високого порядку особливо істотна, коли розмір вхідного шару досить великий.
Рекурентні мережі
Рекурентна нейронна мережа відрізняється від мережі прямого поширення наявністю принаймні однієї зворотного зв'язку. Наприклад, рекуррентная мережа може складатися з єдиного шару нейронів, кожен з яких спрямовує свій вихідний сигнал на входи всіх інших нейронів шару.
Наявність зворотних зв'язків у мережах, показаних на малюнках, безпосередньо впливає на здатність таких мереж до навчання і на їх продуктивність. Більше того, зворотній зв'язок увазі використання елементів одиничної затримки (позначені як z ~ l), що призводить до нелінійного динамічному поводженню, якщо, звичайно, в мережі містяться нелінійні нейрони.
Представлення знань
Під знанням розуміється збережена інформація або моделі, використовувані людиною чи машиною для інтерпретації, передбачення і реакції на зовнішні події. Знання про світ включають два типи інформації.
Відоме стан навколишнього світу, представлене наявними в на?? ічіі достовірними фактами. Така інформація називається апріорної.
Спостереження за навколишнім світом, отримані за допомогою сенсорів, адаптованих для конкретних умов, в яких повинна функціонувати дана нейронна мережа.
Приклади можуть бути маркованими і немаркованими. У маркованих прикладах вхідному сигналу відповідає бажаний відгук. Немарковані приклади складаються з декількох різних реалізацій одного вхідного сигналу. У кожному разі набір прикладів, будь то маркованих чи ні, являє собою знання про цікавій предметної області, на підставі яких і проводиться навчання нейронної мережі.
Питання подання знань в нейронної мережі є дуже складним. Проте можна виділити чотири загальні правила.
Подібні вхідні сигнали від схожих класів повинні формувати єдине уявлення в нейронної мережі. Виходячи з цього, вони повинні бути класифіковані як належать до однієї категорії.
Елементи, віднесені до різних класів, повинні мати в мережі якомога більш відмінні уявлення. Це правило прямо протилежно першому.
Якщо деяка властивість має важливе значення, то для його представлення в мережі необхідно використовувати велику кількість нейронів.
У структуру нейронної мережі повинні бути вбудовані апріорна інформація і інваріанти, що спрощує архітектуру мережі і процес її навчання.
Це правило відіграє особливу роль, оскільки правильна конфігурація мережі забезпечує її спеціалізацію. Нейронна мережа зі спеціалізованою структурою зазвичай включає значно меншу кількість вільних параметрів. При цьому на навчання затрачається менше часу, і така мережа має кращу узагальнюючої і пропускною здібностями і їх вартість створення скорочується. Щоб вбудувати апріорну інформацію в структуру нейронної мережі можна використовувати комбінацію двох наступних прийомів:
Обмеження мережної архітектури за допомогою локальних зв'язків, званих рецепторними полями,
Обмеження вибору синаптичних ваг за рахунок спільного використання ваг.
Для того щоб створити систему розпізнавання об'єкта, мови або ехолокації, що враховує явища такого роду, необхідно брати до уваги діапазон трансформацій спостережуваного сигналу. Відповідно основним вимогою при розпізнаванні образів є створення такого класифікатора, який інваріантний до цим трансформаціям.
Існують як мінімум три прийоми забезпечення інваріантності нейронної мережі класифікації до подібних трансформацій.
Структурна інваріантність: Синаптичні зв'язки між окремими нейронами мережі будуються таким чином, щоб трансформовані версії одного і того ж сигналу викликали один і той же вихідний сигнал.
Инвариантность з навчання: Мережа навчається на безлічі прикладів одного і того ж об'єкта, при цьому в кожному прикладі об'єкт подається в дещо зміненому вигляді (наприклад, знімки з різних ракурсів). Якщо кількість таких прикладів досить велике і якщо нейронна мережа навчена відрізняти різні точки зору на об'єкт, можна ...
