Більшість досвідчених блогерів, безумовно, знають, що таке robots.txt і навіщо потрібен цей файл. Але мало хто з авторів після установки блогу на WordPress відразу ж впадає створювати файл robots.txt.
Robots.txt – це текстовий файл, що завантажується в кореневу директорію вашого сайту і містить інструкції для пошукових роботів. Основна мета його використання – це заборона індексації окремих сторінок і розділів на сайті. Втім, з допомогою robots.txt можна також вказувати правильне дзеркало домену, прописувати шлях до карти сайту (sitemap) тощо.
Більшість сучасних пошукачів навчилися непогано орієнтуватися в популярних CMS і зазвичай не намагаються індексувати контент, який для цього не призначений. Наприклад, Google не буде індексувати адмінку вашого WordPress блогу навіть якщо ви не будете вказувати це безпосередньо в robots.txt. Втім, у деяких випадках використання прямих заборон все-таки може виявитися корисним. І мова йде в першу чергу про заборону дубльованого контенту.
Деякі вебмастера доходять до того, що забороняють індексацію сторінок категорій і тегів, оскільки їх зміст частково дублює контент головної сторінки. Але більшість обмежується забороною сторінок trackback і feed, які повністю дублюють контент статті призначені зовсім не для пошуковиків. Така обережність не тільки зробить видачу сайту “чистіше”, але і вбереже від можливих пошукових фільтрів, особливо після введення нового алгортиму Google Panda.
Ось які директиви рекомендуються для файлу robots.txt (він підійде практично для будь-якого WordPress-блозі):
User-Agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback/ Disallow: /feed/ Disallow: */trackback/ Disallow: */feed/
Зверніть увагу, що в robots.txt повністю закриті для індексації адміністративні папки wp-admin й wp-includes. Папка ж wp-content закрита лише частково, оскільки в ній знаходиться директорія uploads, куди потрапляють всі зображення з вашого блогу, які мають індексуватися.
Все, що потрібно зробити, це скопіювати директиви з наведеного вище коду (зверніть увагу, що кожна директива повинна писатися з нового рядка), зберегти їх в текстовий файл з назвою robots.txt і завантажити в кореневу директорію вашого сайту.
Перевірити, чи правильно працює robots.txt завжди можна через інтерфейси Google Webmaster Tools і Яндекс Вебмастер.
