щоб допомогти людям знайти інформацію, якої вони потребують. Засоби пошуку типу агентів, павуків, кроулеров і роботів використовуються для збору інформації про документи, які перебувають у Мережі Інтернет. Це спеціальні програми, які займаються пошуком сторінок в Мережі, витягають гіпертекстові посилання на цих сторінках і автоматично індексують інформацію, яку вони знаходять для побудови бази даних. Кожен пошуковий механізм має власний набір правил, що визначають, як знаходити і обробляти документи. Деякі йдуть за кожною посиланням на кожній знайденої сторінці і потім, у свою чергу, досліджують кожну посилання на кожній з нових сторінок, і так далі. Деякі ігнорують посилання, які ведуть до графічним і звуковим файлам, файлів мультиплікації; інші ігнорують лінки до ресурсів типи баз даних WAIS; інші проінструктовані, що потрібно переглядати насамперед найбільш популярні сторінки. p align="justify">. Агенти - самі "інтелектуальні" з пошукових засобів. Вони можуть робити більше, ніж просто шукати: вони можуть виконувати навіть транзакції від Вашого імені. Вже зараз вони можуть шукати Сайти специфічної тематики і повертати списки cайтов, відсортованих за їх відвідуваності. Агенти можуть обробляти вміст документів, знаходити та індексувати інші види ресурсів, не лише сторінки. Вони можуть також бути запрограмовані для витягання інформації з вже існуючих баз даних. Незалежно від інформації, яку агенти індексують, вони передають її назад базі даних пошукового механізму. p align="justify">. Загальний пошук інформації в Мережі здійснюють програми, відомі як павуки. Павуки повідомляють про зміст знайденого документа, індексують його і витягають підсумкову інформацію. Також вони переглядають заголовки, деякі посилання і посилають проіндексовану інформацію базі даних пошукового механізму. p align="justify">. Кроулери переглядають заголовки і повертають тільки перше посилання. p align="justify">. Роботи можуть бути запрограмовані так, щоб переходити по різним Посилання різної глибини укладення, виконувати індексацію і навіть перевіряти посилання в документі. Через їх природи вони можуть застрявати в циклах, тому, проходячи за посиланнями, їм потрібні значні ресурси Мережі, однак, є методи, призначені для того, щоб заборонити роботам пошук по сайтах, власники яких не бажають, щоб вони були проіндексовані.
Агенти витягують і індексують різні види інформації. Деякі, наприклад, індексують кожне окреме слово у встречающемся документі, в той час як інші індексують тільки найбільш важливих 100 слів у кожному, індексують розмір документу і кількість слів у ньому, назву, заголовки і підзаголовки і так далі. Вид побудованого індексу визначає, який пошук може бути зроблений пошуковим механізмом і як отримана інформація буде інтерпретована. p align="justify"> Агенти можуть також переміщатися по Інтернет і знаходити інформацію, після чого поміщати її в базу даних пошукового механізму. Адміністратори пошукових систем можуть виз...
