Вы слышали о файле Robots.txt? Если вы знакомы с WordPress, то вы можете знать файл Robots.txt. Это имеет решающее влияние на эффективность SEO вашего сайта. Хорошо оптимизированный файл Robots.txt может улучшить рейтинг вашего сайта в поисковых системах. С другой стороны, неправильно настроенный файл Robots.txt может сильно повлиять на SEO вашего сайта.

WordPress автоматически генерирует файл Robots.txt для вашего сайта. Но все же, вам нужно предпринять некоторые действия, чтобы должным образом оптимизировать его. Есть много других факторов для SEO, но этот файл неизбежен. Поскольку его редактирование предполагает использование некоторой строки кодов, большинство владельцев веб-сайтов не решаются вносить в нее изменения. Вам не нужно беспокоиться. Сегодняшняя статья рассказывает о его важности и о том, как оптимизировать файл WordPress robots.txt для улучшения SEO.

Прежде чем двигаться дальше, давайте изучим некоторые фундаментальные вещи.

Что такое файл Robots.txt?

Robots.txt - это текстовый файл, созданный для указания роботам поисковых систем, где сканировать, а не сканировать на вашем сайте. Во-первых, роботы поисковых систем следуют инструкциям в файле Robots.txt, когда попадают на ваш сайт. Соответственно они сканируют и индексируют ваш сайт. С помощью этого файла вы можете указать поисковым роботам, какие области вашего сайта сканировать, а какие нет.

Обычно вы можете найти файл Robots.txt в корневой папке WordPress. Так как он похож на обычный текстовый файл, вы можете открыть его с помощью текстового редактора, такого как Блокнот.

Если файла Robots.txt нет, вам просто нужно создать файл блокнота и сохранить его как Robots.txt и, используя FTP-клиент, загрузить его в корневую папку вашего сайта.

Как редактировать файл WordPress Robots.txt

Редактирование файла Robots.txt может быть сделано либо с вашего сервера Учетная запись FTP или используя плагин WordPress. Я предлагаю вам использовать плагин для этой цели, так как это очень просто. Тогда лучший плагин будет Yoast SEO отредактировать файл Robots.txt с панели управления WordPress.

Я предполагаю, что у вас уже есть этот плагин. Ну, перейдите в SEO> Инструменты из вашей панели WordPress.

Следующим шагом является нажатие на File Editor, который позволяет редактировать Robot.txt, а также файл .htaccess.

Как я упоминал ранее, WordPress автоматически создает файл Robots.txt для вашего сайта, как вы можете видеть на скриншоте ниже.

Давайте узнаем о командах.

• User-agent - укажите, какие роботы поисковых систем должны индексировать ваш сайт. Чтобы указать всех поисковых роботов, добавьте команду User-agent: *.
• Disallow - заблокируйте любые поисковые роботы от индексации некоторых частей вашего сайта.
• Разрешить - прямые поисковые роботы, которые должны сканировать и индексировать части сайта.

Если вы не нашли файл Robots.txt, просто нажмите кнопку «Создать», чтобы создать новый.

Согласно руководству Google для веб-мастеров, не используйте файл Robots.txt, чтобы скрыть некачественный контент. Использование файла Robots.txt, чтобы запретить поисковым системам индексировать вашу категорию, теги, дату, архивы и т. Д., Может быть плохой идеей. Но с помощью плагина Yoast SEO вы сможете использовать метатег noindex и nofollow для контента, который вы не хотите индексировать. Не рекомендуется использовать файл Robots.txt, чтобы запретить поисковым роботам индексировать дублированный контент. Это может быть связано с другим методом.

Так что постарайтесь избежать вышеупомянутых плохих практик, чтобы оптимизировать ваш файл WordPress Robots.txt, более удобный для поисковых систем.

Теперь пришло время следовать некоторым хорошим практикам.

В файле Robots.txt вы можете разрешить и запретить поисковым роботам сканировать и индексировать. Я рекомендую, запретить файл readme.html, каталог плагинов, администратор и трекбек. Включение ваших файлов Sitemap в файл Robots.txt - хороший выбор, который ускоряет индексацию страниц роботами поисковых систем.

Вот образец

User-agent: * Disallow: / wp-admin / Disallow: / wp-content / plugins / Disallow: /readme.html Disallow: / trackback / Disallow: / go / Разрешить: /wp-admin/admin-ajax.php Разрешить : / wp-content / uploads / Карта сайта: https://yourdomain.com/post-sitemap.xml Карта сайта: https://yourdomain.com/page-sitemap.xml

Тестирование файла WordPress Robots.txt

Следующая задача - проверить, правильно ли обновлен файл Robots.txt. Лучшие способы использования Google Search Console проверить ваш файл Robots.txt.

Что ж, откройте свой аккаунт Google Search Console и нажмите на сайт. В левой части экрана выберите « Сканирование»> «robots.txt Tester» и нажмите кнопку « Отправить» .

После этого на экране появляется всплывающее окно, и просто нажмите кнопку « Отправить» , чтобы сообщить Google, что ваш файл Robots.txt обновлен.

Затем вам необходимо перезагрузить страницу, чтобы проверить, обновлялась она или нет. Чтобы получить обновления, иногда может потребоваться время.

В противном случае вы можете вставить свой файл Robots.txt в поле, чтобы выполнить тест, если он еще не был обновлен.

Вам необходимо правильно отредактировать файл Robots.txt, если он показывает ошибки и предупреждения.

Последние слова

Вот и все. Вы знаете, насколько важен SEO для повышения производительности вашего сайта. Это гарантирует, что все аспекты SEO вашего сайта точны и совершенны. Вам нужно уделять больше внимания при редактировании файла Robots.txt, так как неправильная конфигурация может помешать поисковым роботам проиндексировать весь ваш сайт.

Поделитесь своими комментариями ниже о том, как оптимизировать файл WordPress robots.txt для улучшения SEO. Пожалуйста, следуйте за мной в моих социальных сетях, чтобы уведомлять вас о замечательных статьях.