ативності їх сайту безпосередньо для користувача, що в цілому негативно складається на загальній картині Інтернету.
Малюнок 3 - Приклад чорних методів оптимізації
Що стосується «сірої» оптимізації, то вона не тягне серйозних санкцій з боку пошукачів, оскільки не порушує безпосередньо тих правил, які встановлюють пошукові системи для сайтів при індексації. Даний вид просування вимагає від фахівця хорошого рівня навичок і досвіду, а також знань внутрішнього устрою і принципів роботи пошукової машини.
Який би шлях не вибрав у своїй роботі оптимізатор, йому необхідно, хоча-б у загальних рисах, уявляти собі роботу пошукових сервісів. В даний час ці сервіси займають провідне становище у розподілі трафіку користувачів мережі Інтернет. У ній розміщено багато мільйони сайтів і знайти з них потрібні, а тим більше, запам'ятати їх адреси пересічному користувачеві буває важко, а часом і зовсім непосильно. Таким чином, пошукові системи виконують найважливішу функцію: вони займаються розподілом уваги користувачів між сайтами, занесеними в їхню базу даних.
Пошукова система в цілому складається з п'яти основних програмних компонентів:
. «Павук» (англ. Spider) - модуль, що викачує сторінки з мережі Інтернет. Він сприймає інформацію сторінки в режимі вихідного коду і саме в такому вигляді зберігає її в базі даних.
. «Краулер» (англ. Crawler), що в перекладі з англійської означає «повзає». Цей модуль відповідальний за переглядання всіх посилань, що є на сторінці і занесення в базу даних. На основі цієї інформації він формує шлях, по якому буде рухатися «Павук».
. Індексатор (англ. Indexer) - даний модуль розділяє сторінку на складові елементи, такі як: заголовки, підзаголовки, основний текст, жирний і курсивний шрифт, а також інші інформативні елементи. Розділивши, таким чином, сторінку, він проводить її аналіз в залежності від поточного алгоритму пошукової системи.
. База даних (англ. Database) - фактичне місце зберігання всієї накопиченої інформації про веб-сайтах, зібраної як «краулер», так і «павуком», а також результатів роботи індексатора та іншої інформації, необхідної для роботи системи.
. Система видачі результатів (англ. Search engine results engine) - це програмний модуль??, Що переглядає базу даних і вибирає найбільш релевантні запиту користувача сторінки.
Малюнок 4 - Схема роботи пошукової машини
На зорі свого існування роботу пошукової машини виконували живі люди. Вони переглядали всі знайдені ними сайти і сортували їх по каталогах. Пізніше, спираючись на цю базу каталогів, пошукові машини стали здійснювати самостійний пошук нових сторінок. Це відбувається наступним чином.
Спочатку «краулер» переглядає відомі йому ресурси в пошуку нових посилань. Він здійснює регулярні проходи усіх відомих йому посилань розшукуючи при цьому нові. Знаходячи їх, він виконує за ними перехід. Варто відзначити, що на кожне доменне ім'я «краулер» виділяється певний час для пошуку посилань. Після закінчення цього часу, «краулер» вирушає далі по мережі, повертаючись в наступному проході.
Далі починає свою роботу модуль, званий «павуком». Він користується знайденими «краулер» посиланнями, як карткою, і викачує вміст сторінок в режимі вихідного коду і передає її для обробки Индексатором. Цей модуль розділяє текст сторінки на складові елементи: заголовки, жирний і підкреслений текст, виділення абзаців та інше. Це робиться для зручності пошуку по проіндексованим документам. Оброблені сторінки надходять в базу даних пошукової системи. Слід зазначити, що на даний момент пошукові роботи проводять індексацію мультимедійних даних (таких, як аудіо- і відеофайли, флеш-анімація та інші вкрай неефективно. Цей факт робить істотний вплив на вибір методів пошукової оптимізації сайту. Через це багато SEO-фахівці рекомендують закривати програмний код всередині сторінки спеціальними HTML-тегами для запобігання індексації.
Малюнок 5 - Схема отримання даних з пошукової машини
Невірно вважати, ніби пошукова машина виробляє пошук заданої користувачем фрази по всій мережі Інтернет. Викачані в режимі вихідного коду сторінки зберігаються в базі даних пошукової системи, а потім витягуються, коли користувач вводить свій запит в пошуковий рядок. Працюючи з таким величезним обсягом інформації, необхідно застосовувати особливі алгоритми, сортувальні результати пошуку. Дані алгоритми, що постійно оновлюються і допрацьовувати, складають основу роботи пошукової системи. Саме вони визначають, які сторінки потраплять на перші сторінки пошукової видачі, які будуть відображатися після десятого сторінки, а які зовсім не відобразяться для користувача.
