Дозволимо пошуковим машинам проіндексувати ваш сайт.
«Хоча це звучить дійсно просто, але ви повинні платити за використання Інтернет сервісів», - сказав Matt Cutts, програміст Google.
«Ви не повірите, я побачив, чого народ тільки не робить. Якщо Googlebot з першого разу не зміг проіндексувати вашу сторінку, він повторить спробу кількома днями пізніше. Якби сталося у вашого сервера помилка, наприклад 500-го рівня і він просто давиться, - Googlebot це перечекає ».
Оскільки розпізнавання пошукачем - вирішальний фактор для більшості в мережевому бізнесі, власники веб-сайтів повинні бути впевнені в тому, що їх сервери функціонують щодня і цілодобово.
«Павук» пошукової машини може відвідати сайт в будь-який момент. Якщо робот, запитуючи сторінку з сервера, виявляє відмова з якоїсь причини, - ця сторінка може не з'явитися в індексі (базі даних) пошукача, поки «павук" не відвідає цей сайт знову.
«Перевіряйте файл robots.txt для впевненості в тому, що ви дозволяєте Google проіндексувати ваш сайт», - сказав Cutts. Перевіряйте у ньому друкарські помилки, синтаксис і відсутність пробілів. Кожен повинен мати цей файл, навіть якщо він порожній, - додає він.
Cutts рекомендує також перевіряти синтаксис мета-тегів. «Існує безліч варіантів їх використання», - пояснює він:
NOINDEX - забороняє індексувати зміст цієї сторінки;
NOFOLLOW - забороняє проходження павука по посиланнях на цій сторінці;
NOARCHIVE - має для Google особливий сенс: не показувати лише дану сторінку.
Є й інші способи управляти легкістю індексації сайту пошукачем.
«Карта сайту - ось що народ весь час випускає з уваги», - говорить Cutts. «Більше того, уявіть число посилальних рівнів, які треба подолати для досягнення далеких сторінок вашого сайту. Чим глибше вам буде потрібно забратися, тим складніше і для Google знайти ці сторінки ».
Захист паролем - спосіб підстрахувати делікатне вміст від перегляду пошуковою машиною. «Іноді ми отримуємо лист від банку або університету, що повідомляє, що приватна інформація не призначався до розголосу на загальнодоступної мережі, де її можуть виявити люди і роботи пошуковиків», - сказав Cutts. «Від цього оберігає захист паролем».
Зміна структури сайту та індексування пошуковою машиною.
Якщо ви змінили структуру сайту, або вдосконалили його новою технологією, то існують способи повідомити пошуковим машинам про зміну URLов. Вебмастер може скористатися тимчасовою переадресацією командою 302, або постійної - командою 301.
«301 і 302 відносяться до невеликих загальноприйнятим повідомленнями, що з'являються щоразу, коли суб'єкт або робот намагаються знову виявити сторінку. Це щось сообщающее, що ви перемістилися зі старого домену на новий », - пояснює Cutts.
«Вам потрібен переадресація 301 зі старого домену на новий домен. Це забезпечить шлях вашим відвідувачам безпосередньо на новий сайт. І це ж дасть впевненість в тому, ви все ще зберігаєте позиції ваших посилань в індексному базі пошукової системи. »
Тимчасова переадресація 302 повідомляє для Googlebot: «Гаразд, на цей раз йди сюди, але пізніше спробуй ще раз, тому що напрямок може змінитися», - продовжує Cutts. «Якщо надалі напрямок справді зберігається, - створіть постійну, 301 переадресацію.»
Іноді вебмастер хоче змінити IP адресу. Для ефективного здійснення цього, переконайтеся перед пов...
