зким їх здешевленням, що робить їх потенційно доступними для більш широких кіл користувачів.
На перший план висунулися завдання розробки методів і засобів, що забезпечують тісну взаємодію людини і обчислювальної системи протягом всього процесу рішення задачі з можливістю оперативного внесення людиною змін в ході цього процесу.
Історія розвитку нейронних мереж
Термін «нейронна мережа» з'явився в середині XX століття. Перші роботи, в яких були отримані основні результати в даному напрямку, були пророблені Мак-Каллоком і Питтсом. У 1943 році ними була розроблена комп'ютерна модель нейронної мережі на основі математичних алгоритмів і теорії діяльності головного мозку. Вони висунули припущення, що нейрони можна спрощено розглядати як устрою, які оперують двійковими числами, і назвали цю модель «порогової логікою». Подібно своєму біологічному прототипу нейрони Мак-Каллока-Питтса були здатні навчатися шляхом підстроювання параметрів, що описують синаптичну провідність. Дослідники запропонували конструкцію мережі з електронних нейронів і показали, що подібна мережа може виконувати практично будь-які уявні числові або логічні операції. Мак-Каллок і Піттс припустили, що така мережа в стані також навчатися, розпізнавати образи, узагальнювати, т. Е. Має усіма рисами інтелекту.
Дана модель заклала основи двох різних підходів досліджень нейронних мереж. Один підхід був орієнтований власне на вивчення біологічних процесів в головному мозку, інший - на застосування нейронних мереж як методу штучного інтелекту для вирішення різних прикладних задач.
У 1949 році канадський фізіолог і психолог Хебб висловив ідеї про характер з'єднання нейронів мозку та їх взаємодію. Він першим припустив, що навчання полягає в першу чергу у змінах сили синаптичних зв'язків. Теорія Хебба вважається типовим випадком самонавчання, при якому випробовувана система спонтанно навчається виконувати поставлене завдання без втручання з боку експериментатора. У більш пізніх варіантах теорія Хебба лягла в основу опису явища довгострокової потенциации.
У 1954 році в Массачусетському технологічному інституті з використанням комп'ютерів Фарлі і Кларк розробили імітацію мережі Хебба. Також дослідження нейронних мереж за допомогою комп'ютерного моделювання були проведені Рочестером, Холландом, Хебітом і Дудою в 1956 році.
У 1957 році Розенблатта були розроблені математична та комп'ютерна моделі сприйняття інформації мозком на основі двошарової студіюючої нейронної мережі. При навчанні дана мережа використовувала арифметичні дії додавання і віднімання. Розенблатт описав також схему не тільки основного перцептрона, але і схему логічного складання. У 1958 році ним була запропонована модель електронного пристрою, яке повинно було імітувати процеси людського мислення, а два роки було продемонстровано перша діюча машина, яка могла навчитися розпізнавати деякі з букв, написаних на картках, які підносили для її «очам», що нагадує кінокамери.
Інтерес до дослідження нейронних мереж згас після публікації роботи по машинному навчанню Мінського і Пейперта в 1969 році. Ними були виявлені основні обчислювальні проблеми, що виникають при комп'ютерній реалізації штучних нейронних мереж. Перша проблема полягала в тому, що одношарові нейронні мережі не могли здійснювати «додавання по модулю 2», тобто реалізувати функцію «виключає АБО». Другою важливою проблемою було те, що комп'ютери не володіли достатньою обчислювальною потужністю, щоб ефективно обробляти величезний обсяг обчислень, необхідний для великих нейронних мереж.
Дослідження нейронних мереж сповільнилися до того часу, коли комп'ютери досягли великих обчислювальних потужностей. Одним з важливих кроків, що стимулювали подальші дослідження, стала розробка в 1975 році Вербосом методу зворотного поширення помилки, який дозволив ефективно вирішувати задачу навчання багатошарових мереж і вирішити проблему зі «складанням за модулем 2».
У 1975 році Фукусімою був розроблений когнітрон, який став однією з перших багатошарових нейронних мереж. Фактична структура мережі і методи, використовувані в когнітроні для налаштування відносних ваг зв'язків, варіювалися від однієї стратегії до іншої. Кожна з стратегій мала свої переваги і недоліки. Мережі могли поширювати інформацію тільки в одному напрямку або перекидати інформацію з одного кінця в інший, поки не активувалися всі вузли та мережа не приходила в кінцевий стан. Досягти двосторонньої передачі інформації між нейронами вдалося лише в мережі Хопфілда (1982), і спеціалізація цих вузлів для конкретних цілей була введена в перших гібридних мережах.
Алгоритм паралельної розподіленої обробки даних в середині 1980 років став популярний під назвою коннектівізма. У 1986 ...
