результати, якщо до даних додавалися нові дані, необхідно було повторно виконувати алгоритм. У 90-х роках дослідники штучних нейромереж прийшли до висновку про те, що необхідно розвивати новий клас обчислювальних механізмів. Такого методу, щоб кількість і розташування штучних нейронів в просторі ознак не задавався заздалегідь, а обчислювалася в процесі навчання таких моделей відповідно до особливостей вхідних даних, самостійно підлаштовуючись під них.
Розширюється нейронний газ не вимагає апріорної інформації про даних, таких як оцінка кількості кластерів або форма кластерів. lt; # justify gt; Починаючи всього з двох нейронів, алгоритм послідовно змінює (здебільшого, збільшує) їх число, одночасно створюючи набір зв'язків між нейронами, найкращим чином відповідають розподілу вхідних векторів. У кожного нейрона є внутрішня змінна, в якій накопичується «локальна помилка»,. З'єднання між вузлами характеризуються змінної, званої «вік». Алгоритм включає наступні кроки [15]:
· Спершу створюються два вузла (тут і далі, вузол означає нейрон) з векторами ваг, дозволеними розподілом вхідних векторів, і нульовими значеннями локальних помилок;
· Вузли з'єднуються зв'язком, якою можна встановити вік. На початковому етапі вік дорівнює.
· Потім на вхід нейромережі подається вектор.
· На наступному етапі знаходяться два нейрона і, найближчих до (ближче, ніж), тобто вузли з векторами ваг і, такими, що - мінімальне, а - друга мінімальне значення відстані серед всіх вузлів.
· Оновлюється локальна помилка, найбільш близького нейрона - переможця, до неї додається квадрат відстані між векторами і:
Ця процедура призводить до того, що найбільш часто виграють вузли, тобто ті, в околиці яких потрапляє найбільша кількість вхідних сигналів, мають найбільше значення помилки, а значить, саме ці області стають головними кандидатами на «ущільнення »шляхом додавання нових вузлів.
· Нейрон-переможець і всі його топологічні сусіди (тобто всі нейрони, що мають з'єднання з переможцем) зміщуються у бік вхідного вектора на відстані, рівні часткам і від повного:
Cмещеніе вузлів у бік вхідного вектора на даному кроці означає, що переможець прагне «усереднити» своє становище серед вхідних сигналів, розташованих в його околицях. При цьому кращий нейрон трохи «підтягує» у бік сигналу і своїх сусідів.
· Збільшити на 1 вік всіх з'єднань, що виходять від переможця.
· Якщо два кращих нейрона і з'єднані,. В іншому випадку створити зв'язок між ними.
· Видалити всі з'єднання, вік яких перевищує максимальний вік. Якщо після цього є нейрони, що не мають зв'язків з іншими вузлами, видалити ці нейрони.
· Зменшити помилки всіх нейронів на частку:
Якщо номер поточної ітерації кратний, і граничний розмір мережі не досягнуть, створити новий нейрон за правилами: З часом після декількох циклів зміщень накопичується інформація, на підставі якої приймається рішення про місце, в якому повинен бути доданий новий нейрон. Цей процес являє собою корекцію змінних помилок всіх нейронів шару. Це необхідно для того, щоб мережа «забувала» старі вхідні вектори і краще реагувала на нові. Таким чином, досягається можливість використовувати розширюється нейронний газ для адаптації нейромережі під нестаціонарні, а саме, повільно дрейфуючі розподілу вхідних сигналів.
· Знайти нейрон з найбільшою локальної помилкою.
· Серед сусідів знайти нейрон з максимальною помилкою.
· Створити вузол «посередині» між і:
Замінити зв'язок між і на зв'язки між і, і.
Зменшити помилки нейронів і, встановити значення помилки нейрона:
Велике значення цієї помилки служить вказівкою на те, що відповідний нейрон лежить в області невеликого числа нейронів.
4. Застосування ІНС Кохонена до векторної моделі тексту. Модифікація алгоритму розширюється нейронного газу
За допомогою нейронних мереж Кохонена, учнів за алгоритмом розширюваного нейронного газу можна провести кластеризацію векторних уявлень документів, що містяться в колекції, отриманої шляхом індексації. Це дасть можливість з'ясувати місце розташування центрів кластерів (тут і далі кластер еквівалентний нейрону мережі Кохонена) колекції, які являють собою найбільш типові «усереднені» документи у відповідному кластері. Але без знання про склад кластерів неможливо буде визначити результати пошукового запиту, акредитуючої вектором в тому ж просторі, що й векторні моделі докуме...
