нтів. При пошуку результатів відповіді на пошуковий запит вибирається найближчий кластер і в результат видається його склад, тобто документи, що входять в даний кластер. Таким чином, алгоритм пошуку вимагає встановлення приналежності кожного документа в колекції відповідному кластеру. Цього можна добитися, створюючи зв'язку кластер-документ (- зв'язок між кластером і документом, де - множина всіх кластерів, - безліч всіх документів колекції). Але такі зв'язки можуть розриватися при видаленні нейронів з мережі, що призведе до виникнення «загублених» документів - таких документів, які не сполучені ні з одним з кластерів. Цього можна уникнути, обробляючи подія видалення нейрона з мережі так, що документи, що належать останньому, будуть з'єднуватися зв'язком з найближчим до них кластерам; таким чином, що видаляється нейрон «роздасть» свої документи своїм топологічним сусідам.
Використовуючи побудовані зв'язку можна домогтися обчислення точного місця розташування середнього арифметичного всіх документів кластера, шляхом оновлення значення цього вектора при додаванні і видаленні зв'язків документ-кластер за формулами:
При додаванні документа:
При видаленні документа:
Це робиться для того, щоб оцінити місце розташування з найменшою локальної помилкою для кластера.
Модифікація алгоритму розширюється нейронного газу, полученнаая з експериментальних спостережень за навчанням, полягає в тому, що на кроці зміни вагових векторів нейронів обчислення нових значень здійснюється за формулою:
при цьому положення топологічних сусідів не змінюється. Такий підхід дозволяє домогтися більшої швидкості збіжності алогорітма навчання при досить малій середньої помилку нейронів мережі, а також дозволяє зменшити дисперсію значення помилки нейронів мережі, що також відображає той факт що якість кластеризації збільшилася - чим менше розкид помилки нейронів, тим точніше в цілому мережа наближає результат кластеризації до реальних даних - документам колекції і тим рівномірніше будуть розподілені документи по кластерах мережі.
Друга модифікація полягає в зміні кроку додавання нового нейрона в мережу. Розрахунки положення нового нейрона тепер ведуться за формулою:
де і вибираються таким же, як і колись чином. Така модифікація збільшує адаптивність мережі до даних, віддаленим в понятті метрики далеко від даних, на яких мережа вже навчена; ця підвищена адаптивність буде корисна в онлайн методі навчання, коли мережа продовжує навчання при додаванні нових документів у колекцію, пр тому що ці документи можуть бути досить «новими» (тобто далеко віддаленими в сенсі евклідової метрики, застосовуваної до їх векторним уявленнями) , щоб відразу претендувати на освіту нового кластера даних.
При отриманому підході все ще залишається один недолік отриманого алгоритму - утворення «мертвих» нейронів: при навчанні на вибірці даних особливої ??форми в мережі з'являються нейрони, які містять жодного документа, але, тим не менш, не видаляються мережею при подальшому навчанні на увазі своєї топологічної ізольованості від інших нейронів і розташування в області з малою кількістю документів. У гіршому випадку такі нейрони можуть продовжувати своє існування необмежену кількість епох навчання, за умови що нові документи, на яких продовжує навчання мережу, не потрапляють в їх область. Це породжує такі небажані наслідки як збільшення дисперсії помилки кластерів, поява порожніх результатів пошуку, і нерівномірний розподіл документів по кластерах. Методи боротьби з цією проблемою можуть бути тільки апостеріорними: на момент додавання не ясно, чи буде нейрон надалі «мертвим», або ж він зіграє позитивну роль у кластеризації. Одним з таких методів може бути приписування кожному нейрону властивості кількості епох, проведених без документів, приписаних до цього нейрону,. Значення кожного нейрона в мережі перераховується після кожної операції розриву зв'язку документ-нейрон з цим нейроном і при додаванні нових нейронів в мережу відповідно до правил:
· якщо у нейрона не виявлено жодної свізі з документами, збільшити значення якщо у нейрона є хоча б одна зв'язок з документом, перерахувати значення:
Далі, при виявленні нейрона зі значенням, він включається в безліч - претендентів на видалення. На кожній епосі навчання оновлюються значення нейронів в безлічі і якщо знайдений нейрон зі значенням, більшим порогового значення (задається на практиці), він видаляється з мережі.
5. Гідності нейросетевого підходу
У задачах пошуку важливою частиною є задача розподілу обчислень на кілька вичісліслітельних вузлів з метою підвищення швидкодії і масштабован...
