йна нормировка оптимальна, коли значення змінної х щільно заповнюють певний інтервал. Але подібний прямолінійний підхід застосуємо далеко не завжди. Так, якщо в даних є відносно рідкісні викиди, набагато перевищують типовий розкид, саме ці викиди визначать згідно попередній формулі масштаб нормировки. Це призведе до того, що основна маса значень нормованої змінної х зосередиться поблизу нуля. Набагато надійніше, тому, орієнтуватися при нормировке НЕ а екстремальні значення, а на типові, тобто статистичні характеристики даних, такі як середнє і дисперсія.
(2.3)
Де (2.4)
(2.5)
Одиничний масштаб, тобто типові значення все змінних будуть порівнянні.
Однак, тепер нормовані величини не належать гарантовано одиничного інтервалу, більше того, максимальний розкид значень заздалегідь не відомий. Для вхідних даних це може бути і не важливо, але вихідні змінні будуть використовуватися в якості еталонів для вихідних нейронів. У випадку, якщо вихідні нейрони - сігмоідной, вони можуть приймати значення лише в одиничному діапазоні. Щоб встановити відповідність між навчальною вибіркою і нейромережею в цьому випадку необхідно обмежити діапазон зміни змінних.
Лінійне перетворення, представлене вище, не здатне отнорміровани основну масу даних і одночасно обмежити діапазон можливих значень цих даних. Природний вихід із цієї ситуації - використовувати для предобработки даних функцію активації тих же нейронів. Наприклад, нелінійне перетворення:
(2.6)
нормує основну масу даних одночасно гарантуючи що значення х розташоване в діапазоні від 1 до 0 .
Всі вище перераховані методи нормировки спрямовані на те, щоб максимізувати ентропію кожного входу (виходу) окремо. Але, взагалі кажучи, можна домогтися набагато більшого максимізуючи їх спільну ентропію.
Існують методи, що дозволяють проводити нормировку для всієї сукупності входів.
. 8 Алгоритмічні побудови
Алгоритмічна універсальність ЕОМ означає, що на них можна програмно реалізовувати (тобто представити у вигляді машинної програми) будь алгоритми перетворення інформації, будь то обчислювальні алгоритми, алгоритми управління, пошуку докази теорем, тривимірні графічні або аудіо композиції.
Однак не слід думати, що обчислювальні машини і роботи можуть в принципі вирішувати будь-які завдання.
Було строго доведено існування таких типів завдань, для яких неможливий єдиний і ефективний алгоритм, вирішальний всі завдання даного типу; в цьому сенсі неможливо вирішення таких завдань і за допомогою обчислювальних машин.
Цей факт сприяє кращому розумінню того, що можуть робити машини і чого вони не можуть зробити.
2.9 Навчання штучних нейронних мереж
Серед властивостей штучних нейронних мереж основним є їх здатність до навчання, вони навчаються найрізноманітнішими методами. Більшість методів навчання виходять із загальних передумов, і має багато ідентичних характеристик. Їхнє навчання нагадує процес інтелектуального розвитку людської особистості. Можливості навчання штучних нейронних мереж обмежені. Тим не менше, вже отримані переконливі досягнення, такі як мовець мережу Сейновскі, і виникає багато інших практичних застосувань. Мережа навчається, щоб для деякого безлічі входів давати необхідне безліч виходів. Кожне таке вхідний (або вихідна) множина розглядається як вектор. Навчання здійснюється шляхом послідовного пред'явлення вхідних векторів з одночасною підстроюванням ваг відповідно до певної процедури. У процесі навчання ваги мережі поступово стають такими, щоб кожен вхідний вектор виробляв вихідний вектор.
Зазвичай навчання нейронної мережі здійснюється на деякій вибірці. У міру процесу навчання, який відбувається за певним алгоритмом, мережа повинна все краще і краще (правильніше) реагувати на вхідні сигнали.
Виділяють три парадигми навчання: з учителем, самонавчання та змішана. У першому способі відомі правильні відповіді до кожного вхідного прикладу, а ваги підлаштовуються так, щоб мінімізувати помилку. Навчання без вчителя дозволяє розподілити зразки по категоріях за рахунок розкриття внутрішньої структури і природи даних. При змішаному навчанні комбінуються дві вищевикладених підходу.
Існує велика кількість алгоритмів навчання, орієнтованих на вирішення різних завдань. Серед них виділяє алгоритм зворотного поширення помилки, який є одним з найбільш успішних сучасних алгоритмів. Його основна ідея полягає в тому, що зміна ваг синапсів відбувається з урахуванням локального град...
