Правильний robots.txt для WordPress
- Файл robots.txt для WordPress
- Короткий опис основних директив файлу robots.txt
- Що блокувати, що вирішувати?
Файл Robots.txt - це простий текстовий файл, який створюється і розміщується в кореневому каталозі блогу на WordPress і відповідає за поведінку пошукових роботів на сайті.
Файл для WordPress robots.txt - використовується, в основному, для обмеження доступу пошукових роботів (ще їх називають пошуковими ботами) до індексації деяких розділів або файлів вашого сайту.
Якщо його немає, то пошукові боти будуть індексувати всі, що розміщено в кореневій папці вашого сайту, включаючи системні папки CMS WordPress, сторінки реєстрації, авторизації або адмін-панель. Це призводить до того, що пошуковий робот на індексацію вашого сайту витрачає занадто багато часу і може пропустити або зовсім не проіндексувати потрібні сторінки.
Іншими словами, за допомогою спеціальних директив файлу robots.txt для WordPress, ми самі вказуємо пошуковим роботам що потрібно індексувати, а що бажано пропустити. В пошук Google або Яндекс потрапляє тільки потрібну нам інформацію. В основному це головна сторінка та сторінки з записами.
Крім цього, файл robots.txt грає велику роль в пошуковій SEO-оптимізації сайту. У файлі прописується спеціальна директива, в якій вказується шлях до файлу sitemap.xml з картою сайту, яка вказує пошуковим роботам які сторінки необхідно проіндексувати. Це призводить до швидкої індексації нових записів вашого блогу.
Створити xml-карту сайту для WordPress можна за допомогою плагіна Google XML Sitemaps .
Файл robots.txt для WordPress 
Не буду писати багато зайвого, все вже давно є по цій засланні . Нижче пропоную вам готовий, правильний файл robots.txt для WordPress.
User-agent: * Disallow: / cgi-bin Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback Disallow: * / trackback Disallow: * / * / trackback Disallow: / feed Disallow: * / feed Disallow: / category / * / * Disallow: / comments Disallow: * / comment- * Disallow: * / trackback User-agent: Yandex Disallow: / cgi-bin Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback Disallow: * / trackback Disallow: * / * / trackback Disallow: / feed Disallow: * / feed Disallow: / category / * / * Disallow: / comments Disallow: * / comment- * Disallow: * / trackback Host: site.ru Sitemap: http : //site.ru/sitemap.xml User-agent: Googlebot-Image Allow: / wp-content / uploads / User-agent: YandexImages Allow: / wp-content / uploads /
Завантажити готовий файл можна за цим посиланням: robots.txt . Скачайте і розархівуйте файл в будь-яку папку на вашому комп'ютері. За допомогою клієнта ftp (наприклад FileZilla), залийте файл в корінь вашого сайту, не забувши замінити в файлі назва site.ru на ім'я вашого сайту. В результаті файл повинен бути доступний за адресою:
http: //імя_вашего_сайта/robots.txt
Короткий опис основних директив файлу robots.txt
В основному в файлі використовуються кілька директив.
- user-agent - позначає дії для конкретного робота: googlebot, yandex
- host - визначається головне дзеркало сайту, яке бере участь в пошуку
- disallow - забороняє доступ робота до сайту або деяким його розділах
- allow - дозволяє доступ робота до сайту або деяким його розділах
Що блокувати, що вирішувати?
Я, як і багато web-майстри, раджу запобігти індексацію всього того, що призводить до дублювання контенту. Це новинні стрічки rss, результати пошуку або посилання відповідей на коментарі і сторінки категорій або рубрик.
Так само раджу заблокувати посилання до коментарів і трекбекі, так як вони доступні на сторінках із записами. Їх блокування сприяє зменшенню кількості зовнішніх посилань і позитивно впливає на SEO-оптимізацію.
Все інше дозволяється до індексації. Варто зазначити, що доступ до папки / wp-content / uploads з завантаженими медіа-файлами бажано вирішити окремо для кожного робота.
Тепер ви знаєте як створити правильний файл robots.txt для WordPress.