паратного виконання. Реалізація апаратна звичайно являє собою паралельний обчислювач, що складається з безлічі простих процесорів.
1.7 Етапи розвитку штучних нейронних мереж
Якщо опустити чисто біологічний етап, то можна сказати, що сучасна епоха розвитку ІНС почалася в 1943 році з піонерської роботи Мак-Каллока і Питтса. У цій роботі Мак-Каллок і Піттс ввели поняття порогового логічного нейрона і описали логічну модель ІНС.
У 1948 році була опублікована відома книга Вінера Кібернетика raquo ;, що описує ряд важливих концепцій управління. У більш пізніх виданнях у неї були додані розділи, присвячені навчанню, самоорганізації і нейрокібернетиці.
Наступною подією, просунувшись розвиток ІНС, став вихід у світ книги Хебба, в якій вперше було представлено фізіологічне навчальне правило модифікації синапсів. Хебб припустив, що з'єднання в мозку безперервно змінюються в міру того, як організм навчається новим функціональним завданням, і що таким чином створюються нейронні ансамблі. Хебб слідував зробленому раніше припущенням Рамон-і-Кахаля і ввів постулат навчання raquo ;, який свідчить, що ефективність (посилення) змінного синапсу між двома нейронами збільшується в процесі повторюваної активації одного нейрона іншим через цей синапс.
Книга Хебба стала справжнім джерелом натхнення для створення навчаються і адаптивних систем. Роботи Рочестера, Холланда, Хейбта і Дуді в 1956 р були, напевно, першими спробами використовувати комп'ютерне моделювання для тестування теорії ІНС, базується не постулаті навчання Хебба. Отримані ними результати показали, що не тільки активація, але і гальмування повинні бути присутніми в процесі навчання. У той же рік Уїтлі продемонстрував, що ІНС з модифікується синапсами може бути навчена класифікувати прості набори бінарних шаблонів за відповідними класами. У пізнішій своїй роботі Уїтлі також висунув гіпотезу про те, що ефективність змінного синапсу в нервовій системі залежить від статистичних взаємин між змінюються станами з обох сторін від синапсу, тим самим провівши зв'язок з інформаційною теорією Шеннона.
У 1952 році вийшла в світ книга Ешбі Design for a Brain: The Origin of Adaptive Behavior raquo ;. Одна з головних ідей цієї книги полягає в тому, що адаптивне поведінка живих систем не є спадковим, а скоріше з'являється в процесі навчання, і що зазвичай у процесі навчання поведінку живих систем поліпшується.
Важливим моментом в історії ІНС було написання Мінським в 1954 році докторської дисертації, присвяченої ІНС. У 1961 році він опублікував статтю Steps Toward Artificial Intelligence raquo ;, яка була присвячена штучному інтелекту і містила великий розділ, присвячений тому, що зараз називають ІНС.
Необхідно відзначити величезну важливість робіт фон Неймана по створенню цифрових комп'ютерiв для розвитку всього кібернетичного напряму. Особливе значення для теорії ІНС мала його ідея надмірності, яка підштовхнула Винограду і Коуена (1963) [14] до створення розподіленого надлишкового уявлення ІНС.
Приблизно 15 років потому появи епохальної статті Мак-Каллока і Питтса, в 1958 році Розенблатт в своїй роботі, присвяченій перцептроном [15], запропонував новий підхід до вирішення задачі розпізнання шаблонів. У ній він ввів так звану теорему про збіжність перцептрона, доказ якої з'явилося лише в 1960 році. У 1960 Відроу і Гоф запропонували метод найменших квадратів і використовували його для опису Adaline. Основна відмінність між перцептроном і Adaline лежало в процедурах їх навчання.
Однією з перших учнів ІНС зі шарової структурою був Madaline, запропонований Відроу і його студентами в 1962 р Не менш важливою подією було введення в 1967 р Коуен сигмоидальной активационной функції для моделі логічного нейрона.
Протягом класичного періоду перцептрона 60-х років здавалося, що ІНС можуть робити все. Однак в 1969 р вийшла книга Мінського і Пейперта, в якій строго математично було доведено існування фундаментальних обмежень можливостей одношарового перцептрона. Також було показано, що одношарова мережу будь-якої розмірності не може вирішувати завдання доступні багатошаровим конфігурацій.
Для багатошарових перцептронів десятиліття 70-х не принесло нічого нового. Це було пов'язано частково з низьким рівнем фінансування робіт, почасти з відсутністю персональних комп'ютерів. Негативний вплив зробило також не підтвердив пізніше думка про аналогію між спіновими стеклами і ІНС. З іншого боку, в цей же час були отримані значні результати у розвитку самоорганізованих карт на базі змагального навчання. У 1976 році фон Мальсбург і Вільшоу опублікували першу роботу по самоорганизующимся картам, продемонструвавши діючу самоорганізується ІНС.
