чай складаються з трьох компонент:
. агент (павук або кроулер), який переміщається по Мережі і збирає інформацію;
. база даних, яка містить всю інформацію, що збирається павуками;
. пошуковий механізм, який люди використовують як інтерфейс для взаємодії з базою даних.
Засоби пошуку та структурування, іноді звані пошуковими механізмами, використовуються для того, щоб допомогти людям знайти інформацію, якої вони потребують. Cредства пошуку типу агентів, павуків, кроулеров і роботів використовуються для збору інформації про документи, які перебувають у Мережі Інтернет. Це спеціальні програми, які займаються пошуком сторінок в Мережі, витягають гіпертекстові посилання на цих сторінках і автоматично індексують інформацію, яку вони знаходять для побудови бази даних. Кожен пошуковий механізм має власний набір правил, що визначають, як cобірать документи. Деякі йдуть за кожною посиланням на кожній знайденої сторінці і потім, у свою чергу, досліджують кожну посилання на кожній з нових сторінок, і так далі. Деякі ігнорують посилання, які ведуть до графічним і звуковим файлам, файлів мультиплікації; інші ігнорують лінки до ресурсів типу баз даних WAIS; інші проінструктірова-ни, що потрібно переглядати насамперед найбільш популярні сторінки. p align="justify"> Агенти - самі "інтелектуальні" з пошукових засобів. Вони можуть робити більше, ніж просто шукати: вони можуть виконувати навіть транзакції від Вашого імені. Вже зараз вони можуть шукати Сайти специфічної тематики і повертати списки cайтов, відсортованих за їх відвідуваності. Агенти можуть обробляти вміст документів, знаходити та індексувати інші види ресурсів, не лише сторінки. Вони можуть також бути запрограмовані для витягання інформації з вже існуючих баз даних. Незалежно від інформації, яку агенти індексують, вони передають її назад базі даних пошукового механізму. p align="justify"> Загальний пошук інформації в Мережі здійснюють програми, відомі як павуки. Павуки повідомляють про зміст знайденого документа, індексують його і витягають підсумкову інформацію. Також вони переглядають заголовки, деякі посилання і посилають проіндексовану інформацію базі даних пошукового механізму. p align="justify"> Кроулери переглядають заголовки і повертають тільки перше посилання.
Роботи можуть бути запрограмовані так, щоб переходити по різним Посилання різної глибини укладення, виконувати індексацію і навіть перевіряти посилання в документі. Через їх природи вони можуть застрявати в циклах, тому, проходячи за посиланнями, їм потрібні значні ресурси Мережі. Проте, є методи, призначені для того, щоб заборонити роботам пошук по сайтах, власники яких не бажають, щоб вони були проіндексовані. p align="justify"> Агенти витягують і індексують різні види інформації. Деякі, наприклад, індексують к...
