Правильний robots.txt для WordPress

  1. Файл robots.txt для WordPress
  2. Короткий опис основних директив файлу robots.txt
  3. Що блокувати, що вирішувати?

Файл Robots.txt - це простий текстовий файл, який створюється і розміщується в кореневому каталозі блогу на WordPress і відповідає за поведінку пошукових роботів на сайті.

txt - це простий текстовий файл, який створюється і розміщується в кореневому каталозі блогу на WordPress і відповідає за поведінку пошукових роботів на сайті

Файл для WordPress robots.txt - використовується, в основному, для обмеження доступу пошукових роботів (ще їх називають пошуковими ботами) до індексації деяких розділів або файлів вашого сайту.

Якщо його немає, то пошукові боти будуть індексувати всі, що розміщено в кореневій папці вашого сайту, включаючи системні папки CMS WordPress, сторінки реєстрації, авторизації або адмін-панель. Це призводить до того, що пошуковий робот на індексацію вашого сайту витрачає занадто багато часу і може пропустити або зовсім не проіндексувати потрібні сторінки.

Іншими словами, за допомогою спеціальних директив файлу robots.txt для WordPress, ми самі вказуємо пошуковим роботам що потрібно індексувати, а що бажано пропустити. В пошук Google або Яндекс потрапляє тільки потрібну нам інформацію. В основному це головна сторінка та сторінки з записами.

Крім цього, файл robots.txt грає велику роль в пошуковій SEO-оптимізації сайту. У файлі прописується спеціальна директива, в якій вказується шлях до файлу sitemap.xml з картою сайту, яка вказує пошуковим роботам які сторінки необхідно проіндексувати. Це призводить до швидкої індексації нових записів вашого блогу.

Створити xml-карту сайту для WordPress можна за допомогою плагіна Google XML Sitemaps .

Файл robots.txt для WordPress

Не буду писати багато зайвого, все вже давно є по цій засланні . Нижче пропоную вам готовий, правильний файл robots.txt для WordPress.

User-agent: * Disallow: / cgi-bin Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback Disallow: * / trackback Disallow: * / * / trackback Disallow: / feed Disallow: * / feed Disallow: / category / * / * Disallow: / comments Disallow: * / comment- * Disallow: * / trackback User-agent: Yandex Disallow: / cgi-bin Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback Disallow: * / trackback Disallow: * / * / trackback Disallow: / feed Disallow: * / feed Disallow: / category / * / * Disallow: / comments Disallow: * / comment- * Disallow: * / trackback Host: site.ru Sitemap: http : //site.ru/sitemap.xml User-agent: Googlebot-Image Allow: / wp-content / uploads / User-agent: YandexImages Allow: / wp-content / uploads /

Завантажити готовий файл можна за цим посиланням: robots.txt . Скачайте і розархівуйте файл в будь-яку папку на вашому комп'ютері. За допомогою клієнта ftp (наприклад FileZilla), залийте файл в корінь вашого сайту, не забувши замінити в файлі назва site.ru на ім'я вашого сайту. В результаті файл повинен бути доступний за адресою:

http: //імя_вашего_сайта/robots.txt

Короткий опис основних директив файлу robots.txt

В основному в файлі використовуються кілька директив.

  • user-agent - позначає дії для конкретного робота: googlebot, yandex
  • host - визначається головне дзеркало сайту, яке бере участь в пошуку
  • disallow - забороняє доступ робота до сайту або деяким його розділах
  • allow - дозволяє доступ робота до сайту або деяким його розділах

Що блокувати, що вирішувати?

Я, як і багато web-майстри, раджу запобігти індексацію всього того, що призводить до дублювання контенту. Це новинні стрічки rss, результати пошуку або посилання відповідей на коментарі і сторінки категорій або рубрик.

Так само раджу заблокувати посилання до коментарів і трекбекі, так як вони доступні на сторінках із записами. Їх блокування сприяє зменшенню кількості зовнішніх посилань і позитивно впливає на SEO-оптимізацію.

Все інше дозволяється до індексації. Варто зазначити, що доступ до папки / wp-content / uploads з завантаженими медіа-файлами бажано вирішити окремо для кожного робота.

Тепер ви знаєте як створити правильний файл robots.txt для WordPress.





Pro SEO Совет: как WikiPedia может повлиять на ваш рейтинг PageRank |

2019-11-09 11:11:20

Да, вы слышали это правильно. Название действительно говорит Википедия .

Большинство маркетологов уже знают, что Википедия имеет большой вес с Google.

С появлением Wikipedia на первой странице по большинству поисковых терминов, вы можете увидеть всю мощь сайта без каких-либо исследований.

Это седьмой по популярности сайт с более чем 325 миллионами читателей по всему миру. Несмотря на то, что он не является надежным источником для академического мира, мы все можем согласиться с тем, что это один из самых популярных и полезных веб-сайтов .

(Изображение предоставлено www.legalmorning.com )

Многие маркетологи стремятся воспользоваться Википедией одним из двух способов. Первый заключается в создании статьи Википедии для своего клиента. Второе - включить ссылки на их веб-сайты в различные статьи.

Почему маркетологи хотят, чтобы их ссылка была включена в Википедию?

Чтобы лучше это понять, нам нужно посмотреть, как Википедия использовалась в прошлом. Как сообщество с открытым исходным кодом, любой может редактировать сайт. Это просто и быстро и, вероятно, один из самых быстрых способов получить обратную ссылку. Несколько лет назад маркетологи выяснили, что Google придавал массу веса ссылкам в Википедии. Настолько, что маркетологи начали спамить ссылки так быстро, как только могли.

Вот почему Википедия изменила ссылки с «не следуй» на «не следуй».

Нет-Следуй и Делай-Следуй. Есть ли разница с Википедией?

Ссылки «не следовать» не имеют такого большого веса, как ссылки «не следовать». Я думаю, что это то, с чем мы все можем согласиться. В целях борьбы со спамом Википедия начала внедрять свои политика запрещенных ссылок для того, чтобы отговорить маркетологов использовать сайт для продвижения. Хотя это и сдерживало спам, оно, похоже, не влияло на ценность ссылок из Википедии.

Google по-прежнему уделяет большое внимание ссылкам из Википедии, несмотря на наличие атрибута "не следуй". Таким образом, люди продолжают спамить сайт, пытаясь повысить рейтинг страницы, но не так сильно, как раньше.

Эффект бумеранга из ссылок Википедии

Википедия вызывает то, что я люблю называть эффектом бумеранга. Как это работает, просто. Мы уже знаем, что Википедия занимает высокое место в поиске. Когда в высокопоставленной статье Википедии есть ссылка, она имеет тенденцию приводить ссылки вместе с ней.

Таким образом, ссылки, которые обычно могут не иметь высокого ранга страницы, будут увеличиваться в ранге просто от ранга и веса статьи Википедии.

Позвольте мне показать вам, как это выглядит. Давайте сделаем поиск для «Удачи Легиона», мультфильма из 1950-х. Это была случайная статья, которую я вытащил из Википедии благодаря ее генератору «случайных страниц». Когда я выполняю поиск в Google по этой теме, вы можете видеть многочисленные результаты поиска, один из которых с веб-сайта. DanDare.org ,

org   ,

Сайт имеет рейтинг страницы 3, но авторитет домена составляет 31 и около 300 обратных ссылок на его сайт. Тем не менее, он опережает Amazon.com (рейтинг страницы 8, авторитет домена 97 и более 3 миллионов обратных ссылок).

Как это удалось сделать?

Dandare.org стал получателем эффекта бумеранга в Википедии. Несмотря на то, что он не настолько авторитетен, как Amazon.com, он опережает его в результатах поиска.

Если вы посмотрите на страницу Википедии для Удача Легиона в статье используется ссылка Dandare.org (см. ниже - имейте в виду, что из-за открытого источника Википедии текущая статья может не отражать то, что изображено). Если вы посмотрите внизу результатов поиска выше, вы даже увидите, что блог от Blogger попал на первую страницу результатов. Угадай, что? Он также используется в статье Википедии в качестве ссылки.

Эту концепцию я проповедовал управляющим компаниям в течение многих лет. В то время как Википедия была используется для управления репутацией цели, я советую им держаться подальше от этого для ORM. Причина в том, что Википедия будет влиять на негативные ссылки так же, как и на позитивные.

Если вы пытаетесь спрятать контент на второй странице Google, создание страницы в Википедии сведет на нет ваши репутационные усилия. Страница Википедии окажется на первой странице, и как только другие введут отрицательные ссылки (имейте в виду, что каждый может редактировать Википедию), она вернет все на первую страницу.

Как использовать эффект бумеранга в Википедии

Во-первых, создание статьи в Википедии - отличный способ повысить рейтинг вашей страницы. Ссылки внутри помогут любой странице, особенно вашему основному сайту. Если у вас есть внешняя ссылка из Википедии на ваш сайт, Google начнет влюбляться в вас.

Добавление ссылок на ваш сайт также поможет. Не только ссылки с вашего сайта, но и ссылки для прессы о вашем сайте. Если в крупной публикации говорилось о вас или ваших услугах, вы можете найти место в Википедии, где была бы уместна ссылка на эту статью. Это поможет держать положительные отзывы о вас выше в результатах поиска для просмотра пользователями.

Звучит отлично, правда? Ну, у меня есть последнее замечание для тех, кто сейчас хочет использовать Википедию в своих маркетинговых планах. Не принимайте участие в проекте в Википедии, если у вас нет такого опыта. Создание статьи и создание ссылок в Википедии требует знания правил Википедии и конкретных стратегий, чтобы быть уверенным, что вы не будете помечены как спамер.

Неспособность сделать что-либо может привести к тому, что ваш сайт будет заблокирован и помещен в черный список Википедией, а это не тот результат, который вы ищете. Я рекомендую нанять специалиста или провести много исследований, прежде чем погрузиться и испачкать руки.

Автор

Майкл Вуд - эксперт по интернет-маркетингу и владелец Legalmorning.com , Он специализируется на управлении репутацией и брендом, написании статей и профессиональном редактировании Википедии. Он является опытным редактором Википедии и помог сотням компаний и людей опубликовать свои статьи на сайте, где они потерпели неудачу.