1. Шаг 1. Создайте файл в текстовом редакторе
2. Шаг 2. Оптимизация файла для поисковых систем
3. Шаг 3: Загрузите файл на свой сайт

Ключевой частью улучшения видимости вашего сайта является обеспечение его значимости в результатах поиска. Однако не менее важно, чтобы эти результаты точно отражали лучший контент на вашем сайте. Большинство сайтов содержат контент, который вы не хотите показывать при поиске. Итак, как вы можете контролировать то, что Google делает и не отображает?

Именно здесь появляется небольшой файл, известный просто как robots.txt . На первый взгляд он может показаться не таким уж большим, но этот файл может оказать огромное влияние на общий уровень вашего сайта. Поисковая оптимизация (SEO) , Это позволяет вам контролировать, какие области вашего сайта видны для поисковых систем. Кроме того, это гарантирует, что они будут замечать обновления, сделанные на вашем сайте быстрее.

В этой статье мы рассмотрим, как можно создать файл WordPress robots.txt для повышения рейтинга вашего сайта в Google. Вы узнаете, как создать файл, куда добавить его на свой сайт WordPress и что он должен включать. Наконец, мы покажем вам, как отправить его на Google Search Console , Давайте начнем!

Проще говоря, robots.txt - это текстовый файл, содержащий простые инструкции, которые информировать поисковые системы что они должны и не должны читать на вашем сайте. Вы можете думать об этом как о направлениях, которые вы даете таким сайтам, как Google. Он сообщает им, какие страницы и каталоги вы не хотите включать в их результаты поиска.

Почему это важно, и как это влияет на ваш SEO? Чтобы ответить на этот вопрос, нам нужно поговорить о сканерах. Сканер - это программа, которую поисковые системы используют для чтения веб-сайтов, чтобы проиндексировать их, чтобы они могли появляться в результатах поиска. Возможно, вы уже знакомы с сканером Google, который называется Googlebot ,

Когда эти программы сканируют ваш сайт, они по умолчанию проверяют каждую страницу внутри него. Таким образом, чем больше страниц содержит ваш сайт, тем дольше сканер будет читать все. Чтобы сканеры не оказывали негативного влияния на сайты, перегружая их, каждому сайту назначается «бюджет сканирования». Google объясняет бюджет сканирования таким образом :

«Проще говоря, это число одновременных параллельных подключений, которые Googlebot может использовать для сканирования сайта, а также время ожидания между выборками».

В той же статье Google также определяет «наличие множества URL-адресов с низкой добавленной стоимостью» в качестве важного фактора, который отрицательно влияет на индексацию сайта. С практической точки зрения это означает, что если сканер должен просматривать страницы низкого качества, он фактически тратит бюджет сканирования на неважный контент, а не на контент, который вы хотите найти. Это также приведет к тому, что весь ваш сайт будет сканироваться реже. Кроме того, обновления будут появляться дольше в результатах поиска.

Теперь вы надеетесь понять, почему добавление файла robots.txt на ваш сайт важно для оптимизации его видимости. Пришло время посмотреть, как вы на самом деле можете создать такой файл и добавить его на свой сайт WordPress. В этом руководстве мы проведем вас через каждый шаг процесса. Мы покажем вам, как написать файл, где находится robots.txt в WordPress, и как отправить его в Google.

Шаг 1. Создайте файл в текстовом редакторе

Все, что вам нужно для создания файла robots.txt - это простой текстовый редактор, такой как TextEdit или Notepad. Сам файл представляет собой просто список из одной или нескольких директив, которые сканеры используют для определения того, какие части вашего сайта следует читать и индексировать. Поэтому написание одного - это добавление необходимых инструкций с использованием необходимого синтаксиса, который мы рассмотрим сейчас.

Давайте рассмотрим пример файла robots.txt со стандартным кодом:

Строка User-agent определяет, на какие сканеры нацелена данная директива. Поскольку в этом примере используется подстановочный знак звездочка (*), эта директива предназначена для всех искателей. Если вы хотите нацелить это на определенный сканер, такой как Googlebot, это будет выглядеть так:

Вторая строка содержит инструкции, которые вы предоставляете сканеру, в данном случае это Disallow . Это определяет, какие части вашего сайта вы не хотите, чтобы указанный пользовательский агент сканировал. В этом примере строка остается пустой, что означает, что ни одна папка не была запрещена. Поэтому сканер будет читать все на сайте.

Допустим, мы хотим, чтобы робот Google не сканировал папку с именем / old-photos / . В этом случае ваш текстовый файл должен выглядеть следующим образом:

Важно отметить, что эти значения чувствительны к регистру. Так что если папка на самом деле называется / Old-Photos / , эта инструкция не будет применяться к ней.

Теперь предположим, что в этой папке есть несколько файлов, которые вы хотите, чтобы сканер увидел. Вы можете сделать это с помощью директивы Allow :

Есть также некоторые дополнительные нестандартные директивы такие как Crawl-delay , Sitemap и Host , но они не понятны всем сканерам. Например, Googlebot будет только принять Sitemap , который указывает сканеру на карту сайта XML вашего сайта. Как правило, вам не нужно беспокоиться об этом, так как вы можете отправить карту сайта непосредственно через консоль поиска Google ,

Теперь, когда вы знаете, как собрать файл robots.txt , давайте посмотрим, что он должен включать для достижения наилучших результатов!

Шаг 2. Оптимизация файла для поисковых систем

Чтобы оптимизировать файл robots.txt , вам сначала нужно подумать, с какими областями сайта вы не хотите, чтобы сканеры беспокоились. Это включает, но не ограничивается ими, области, которые не видны публике или которые не имеют смысла вне определенного контекста.

Имейте в виду, что это не относится к активам JavaScript или CSS, которые вы никогда не должны блокировать. На самом деле это что-то Google специально посоветовал , поскольку это мешает своим сканерам полностью понять, как работает ваш сайт, и может повлиять на ваш рейтинг SEO:

«Запрещение сканирования файлов Javascript или CSS в файле robots.txt на вашем сайте напрямую вредит тому, насколько хорошо наши алгоритмы отображают и индексируют ваш контент, и может привести к неоптимальному ранжированию».

Одним из примеров страницы, которую вы, вероятно, захотите запретить, является страница входа администратора WordPress, которую вы можете сделать следующим образом:

Однако многие темы основаны на файле, расположенном в этом каталоге и называемом admin-ajax.php . Вы захотите разрешить этот файл, так как это элемент JavaScript:

Другим примером запрещенного типа страниц могут быть страницы «Спасибо», которые посетители видят только после заполнения формы. Опять же, нет никакого смысла в том, что они появляются в результатах поиска, поэтому вы можете запретить оба:

Это всего лишь несколько примеров, и то, что вы должны заблокировать в файле robots.txt, зависит от содержимого вашего конкретного сайта. Таким образом, вам нужно будет прислушиваться к своему усмотрению и всегда учитывать эффект, который будет иметь каждый Разрешить или Запретить . Например, следующая директива блокирует весь ваш сайт от всех искателей, поэтому важно не быть небрежным:

Еще одна ключевая вещь, которую нужно помнить, это то, что директивы в файле robots.txt - это просто директивы. Только то, что вы говорите ботам не сканировать страницу или папку, не означает, что они не будут. Если на странице достаточно ссылок, она будет проиндексирована, даже если она появится в вашем файле robots.txt . Если вы хотите гарантировать, что страница не будет отображаться в результатах поиска Google, вы должны использовать метатег noindex вместо.

По этой причине файл robots.txt никогда не должен использоваться в целях безопасности. Если бы вы таким образом «скрывали» части своего сайта, ваш robots.txt просто указывал бы вредоносным ботам на те части, которые вы меньше всего хотите, чтобы они просматривали.

Шаг 3: Загрузите файл на свой сайт

Когда вы закончите настройку вашего файла, сохраните его как robots.txt . Жизненно важно, чтобы это было точное имя файла, так как оно чувствительно к регистру. Например, сканеры не найдут файлы с именем Robots.txt или robots.TXT . Затем вы можете загрузить файл на свой сайт WordPress, добавив его в корневой каталог. Важно, чтобы это было ваше местоположение в WordPress robots.txt, так как именно там сканеры будут искать его. Если ваш сайт http://example.com , URL для вашего файла должен быть http://example.com/robots.txt .

Как вы на самом деле загружаете файл, зависит от того, как настроен ваш сайт. Вам может понадобиться использовать решение FTP , хотя некоторые плагины WordPress значительно облегчат задачу. Например, Yoast SEO имеет генератор robots.txt, который позволяет вам отредактируйте файл robots.txt напрямую из вашей админ-панели.

Вы завершили свой файл robots.txt и добавили его на свой сайт WordPress. Теперь пришло время рассказать Google об этом. Это делается через Google Search Console , который Google предоставляет веб-мастерам для проверки статуса индексации своих сайтов. Он также содержит множество инструментов для оптимизации видимости.

Отправляя файл WordPress robots.txt , вы сообщаете Google, что хотите, чтобы робот Google сканировал ваш сайт в соответствии с указаниями. Вы должны повторно отправлять файл каждый раз, когда обновляете его. Таким образом, вы сможете убедиться, что ваши изменения вступят в силу как можно быстрее. Если вы еще не зарегистрирован и проверен ваш сайт с Google Search Console, убедитесь, что сделали это в первую очередь.

Начните с доступа к инструмент тестирования robots.txt , Это позволяет вам просмотреть и протестировать файл robots.txt перед его отправкой:

Если сайт уже подключен к консоли поиска, текстовый редактор автоматически будет содержать текущее содержимое файла robots.txt . Если он содержит какие-либо синтаксические предупреждения или логические ошибки, они будут выделены здесь. Отредактируйте файл, чтобы исправить все проблемы, прежде чем двигаться дальше:

Под текстовым редактором находится поле, которое позволяет вам проверить, заблокирована ли определенная область вашего сайта определенными сканерами:

Просто введите URL и нажмите « Тест» . Если URL-адрес недопустим, кнопка теперь будет считаться заблокированной , и соответствующая директива будет выделена красным цветом внутри редактора:

С другой стороны, если URL не заблокирован, кнопка будет читать Разрешено . Если в коде есть соответствующая директива Allow , она также будет выделена зеленым цветом:

Если результаты этих тестов не соответствуют ожидаемым или ожидаемым, обязательно посмотрите на свой код, чтобы увидеть, какие изменения необходимо внести. На этом этапе стоит использовать этот инструмент для тщательного тестирования ваших страниц, а не рисковать нежелательной индексацией, так что не торопитесь.

Если вы довольны тем, что ваш код не содержит проблем и соответствует вашим требованиям, вы можете скопировать его из редактора и добавить в свой файл robots.txt . Затем вы можете нажать Отправить , чтобы открыть диалоговое окно с тремя различными параметрами:

• Загрузка: генерирует и загружает файл robots.txt на основе содержимого в текстовом редакторе инструмента тестирования.
• Просмотр загруженной версии : открывается текущий текущий файл robots.txt сайта.
• Отправить : это отправляет файл robots.txt сайта в Google.

Нажмите « Отправить», если хотите, чтобы Google просканировал ваш сайт и обнаружил обновления. Google потребует некоторое время, чтобы выполнить запрос, но вы можете перезагрузить страницу, чтобы увидеть, когда она показывает ваш обновленный файл WordPress robots.txt .

Хорошо созданный файл robots.txt - это мощный инструмент, который вы можете использовать для улучшения SEO вашего сайта WordPress. Это позволяет вам контролировать, какие части вашего сайта появляются в результатах поиска, и гарантирует, что сканеры поисковых систем быстрее воспринимают изменения на вашем сайте.

Вот краткое резюме шагов, которые вы должны будете выполнить для создания файла WordPress robots.txt :

1. Создайте файл robots.txt с помощью инструмента редактирования текста.
2. Отредактируйте файл WordPress robots.txt, чтобы запретить все области сайта, которые вы не хотите сканировать роботом Google.
3. Загрузите настроенный файл в корневой каталог вашего сайта.
4. Протестируйте файл robots.txt, используя Инструмент тестирования Google robots.txt и затем отправьте его Google Search Console ,

Есть ли у вас какие-либо дополнительные вопросы о файле robots.txt ? Пожалуйста, дайте нам знать в комментариях ниже!