Правільны robots.txt для WordPress

  1. Файл robots.txt для WordPress
  2. Кароткае апісанне асноўных дырэктываў файла robots.txt
  3. Што блакаваць, што дазваляць?

Файл Robots.txt - гэта просты тэкставы файл, які ствараецца і размяшчаецца ў каранёвым каталогу блога на WordPress і адказвае за паводзіны пошукавых робатаў на сайце.

txt - гэта просты тэкставы файл, які ствараецца і размяшчаецца ў каранёвым каталогу блога на WordPress і адказвае за паводзіны пошукавых робатаў на сайце

Ніякія файлы для WordPress robots.txt - выкарыстоўваецца, у асноўным, для абмежавання доступу пошукавых робатаў (яшчэ іх называюць пошукавымі ботамі) да індэксацыі некаторых раздзелаў або файлаў вашага сайта.

Калі гэты файл адсутнічае, то пошукавыя робаты будуць індэксаваць ўсе, што размешчана ў каранёвай тэчцы вашага сайта, уключаючы сістэмныя тэчкі CMS WordPress, старонкі рэгістрацыі, аўтарызацыі або адмін-панэль. Гэта прыводзіць да таго, што пошукавы робат на індэксацыю вашага сайта марнуе занадта шмат часу і можа прапусціць або зусім не праіндэксаваць патрэбныя старонкі.

Іншымі словамі, пры дапамозе адмысловых дырэктыў файла robots.txt для WordPress, мы самі паказваем пошукавым робатам што трэба індэксаваць, а што пажадана прапусціць. У пошук Google або Яндэкс трапляе толькі патрэбная нам інфармацыя. У асноўным гэта галоўная старонка і старонкі з запісамі.

Акрамя гэтага, файл robots.txt гуляе вялікую ролю ў пошукавай SEO-аптымізацыі сайта. У файле прапісваецца спецыяльная дырэктыва, у якой паказваецца шлях да файла sitemap.xml з картай сайта, якая паказвае пошукавым робатам якія старонкі неабходна праіндэксаваць. Гэта прыводзіць да хуткай індэксацыі новых запісаў вашага блога.

Стварыць xml-карту сайта для WordPress можна з дапамогай плагіна Google XML Sitemaps .

Файл robots.txt для WordPress

Не буду пісаць шмат лішняга, усё ўжо даўно даступна па гэтай спасылцы . Ніжэй прапаную вам гатовы, правільны файл robots.txt для WordPress.

User-agent: * Disallow: / cgi-bin Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback Disallow: * / trackback Disallow: * / * / trackback Disallow: / feed Disallow: * / feed Disallow: / category / * / * Disallow: / comments Disallow: * / comment- * Disallow: * / trackback User-agent: Yandex Disallow: / cgi-bin Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback Disallow: * / trackback Disallow: * / * / trackback Disallow: / feed Disallow: * / feed Disallow: / category / * / * Disallow: / comments Disallow: * / comment- * Disallow: * / trackback Host: site.ru Sitemap: http : //site.ru/sitemap.xml User-agent: Googlebot-Image Allow: / wp-content / uploads / User-agent: YandexImages Allow: / wp-content / uploads /

Спампаваць гатовы файл можна па гэтай спасылцы: robots.txt . Спампуйце і разархівуецца файл у любую тэчку на вашым кампутары. Пры дапамозе кліента ftp (напрыклад FileZilla), заліце файл у корань вашага сайта, не забыўшыся замяніць у файле назву site.ru на імя вашага сайта. У выніку файл павінен быць даступны па адрасе:

http: //имя_вашего_сайта/robots.txt

Кароткае апісанне асноўных дырэктываў файла robots.txt

У асноўным у файле выкарыстоўваюцца некалькі дырэктыў.

  • user-agent - пазначае дзеянні для канкрэтнага робата: googlebot, yandex
  • host - вызначаецца галоўнае люстэрка сайта, якое ўдзельнічае ў пошуку
  • disallow - забараняе доступ робата да сайта або некаторым яго раздзелах
  • allow - дазваляе доступ робата да сайта або некаторым яго раздзелах

Што блакаваць, што дазваляць?

Я, як і многія web-майстра, раю прадухіліць індэксацыю усяго таго, што прыводзіць да дублявання кантэнту. Гэта навінавыя стужкі rss, вынікі пошуку або спасылкі адказаў на каментары і старонкі катэгорый або рубрык.

Гэтак жа раю заблакаваць спасылкі да каментароў і трэкбеки, так як яны даступныя на старонках з запісамі. Іх блакіроўка спрыяе памяншэнню колькасці выходных спасылак і станоўча ўплывае на SEO-аптымізацыю.

Усё астатняе дазваляецца да індэксацыі. Варта адзначыць, што доступ да тэчцы / wp-content / uploads з загружанымі медыя-файламі пажадана дазволіць асобна для кожнага робата.

Цяпер вы ведаеце як стварыць правільны файл robots.txt для WordPress.