принцип роботи пошукової системи не є таємницею за сімома печатками. Виглядає він приблизно так: пошукові роботи, блукаючи по гіперпростір, індексують інформацію, розміщену у вигляді html-документів і, збирають її в бази даних, розташовуючи в певному порядку. При введенні запиту в рядку пошукової системи автоматично формується звернення до необхідної базі даних (пошуковий запит). Система, на підставі цього пошукового запиту, видає найбільш релевантні відповіді, ранжуючи сайти в певному порядку, тобто привласнюючи їм позиції в пошуковій видачі в залежності від їх значимості.
Пошукові машини постійно вдосконалюють свої алгоритми пошуку. Для більш релевантної видачі пошукачі враховують поведінкові фактори користувачів, свого роду штучний інтелект, який побудований на більш складних обчислювальних методах інформаційного пошуку. І зараз вже складно уявити, що спочатку пошукові системи використовувалися лише для управління інформацією в науковій літературі і здійснювали досить примітивний пошук за ключовими словами.
Алгоритми пошукових машин - це (найчастіше) комерційна, а тому закрита інформація. Те, що саме враховують пошукові системи при ранжируванні сайтів, знають лише розробники цих систем. Кожна пошукова система використовує свої алгоритми для пошуку, які час від часу оновлюються з метою здійснення більш якісної, релевантної видачі. [11]
3.3 Використання індексів в пошукових системах
Пошуковий індекс - структура даних, яка містить інформацію про документи і використовується в пошукових системах.
Індексування (або індексація), скоєне пошуковою машиною, - процес збору, сортування і зберігання даних з метою забезпечити швидкий і точний пошук інформації. Створення індексу включає міждисциплінарні поняття з лінгвістики, когнітивної психології, математики, інформатики та фізики. Веб-індексуванням називають процес індексування в контексті пошукових машин, розроблених, щоб шукати веб-сторінки в Інтернеті.
Одним з основних завдань при проектуванні пошукових систем є управління послідовними обчислювальними процесами. Існує ситуації, в яких можливе створення стану гонки і когерентних відмов. Наприклад, новий документ доданий до корпусу, і індекс повинен бути оновлений, але в той же час індекс повинен продовжувати відповідати на пошукові запити. Це колізія між двома конкуруючими завданнями. Вважається, що автори є виробниками інформації, а пошуковий робот - споживачем цієї інформації, захоплюючи текст і зберігаючи його в кеші (або корпусі). Прямий індекс є споживачем інформації, виробленої корпусом, а інвертований індекс - споживачем інформації, виробленої прямим індексом. Це зазвичай згадується як модель виробника-споживача. Індексатор є виробником доступною для пошуку інформації, а користувачі, які її шукають, - споживачами. Проблема посилюється при розподіленому зберіганні та розподіленої обробці. Щоб масштабувати великі обсяги індексованої інформації, пошукова система може грунтуватися на архітектурі розподілених обчислень, при цьому пошукова система складається з декількох машин, що працюють узгоджено. Це збільшує ймовірність нелогічності і робить складніше підтримку повністю синхронізованої, розподіленої, паралельної архітектури
Популярні пошукові машини зосереджуються на повнотекстової індексації документів, написаних на п...
