1. Plik Robots.txt dla wordpress
2. Krótki opis głównych dyrektyw pliku robots.txt
3. Co blokować, na co pozwolić?

Plik Robots.txt to prosty plik tekstowy, który jest tworzony i umieszczany w katalogu głównym bloga na WordPressie i jest odpowiedzialny za zachowanie wyszukiwarek w witrynie.

Plik dla WordPress robots.txt - używany głównie w celu ograniczenia dostępu robotów wyszukujących (zwanych również robotami wyszukującymi) do indeksowania określonych sekcji lub plików witryny.

Jeśli brakuje tego pliku, roboty wyszukiwania indeksują wszystko, co znajduje się w folderze głównym witryny, w tym foldery systemowe CMS WordPress , strony rejestracji, autoryzacje lub panel administracyjny. Prowadzi to do tego, że robot wyszukiwania na indeksowaniu witryny spędza zbyt wiele czasu i może pominąć lub nie zaindeksować niezbędnych stron.

Innymi słowy, za pomocą specjalnych dyrektyw pliku robots.txt dla WordPress , sami wskazujemy, aby przeszukać boty, co musimy indeksować i co powinniśmy pominąć. Tylko potrzebne nam informacje trafiają do wyszukiwarki Google lub Yandex . Zasadniczo jest to strona główna i strony z postami.

Ponadto plik robots.txt odgrywa dużą rolę w optymalizacji witryny pod kątem wyszukiwarek. W pliku zapisywana jest specjalna dyrektywa, która określa ścieżkę do pliku sitemap.xml z mapą witryny, która informuje wyszukiwarki, jakie strony mają być indeksowane. Prowadzi to do szybkiego indeksowania nowych wpisów w blogu.

Możesz utworzyć mapę witryny xml dla WordPress za pomocą wtyczki Mapy Google XML .

Plik Robots.txt dla wordpress

Nie będę pisał zbyt wiele, wszystko jest już od dawna dostępne odniesienie . Poniżej przedstawiam Ci gotowy, poprawny plik robots.txt dla WordPress.

User-agent: * Disallow: / cgi-bin Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback Disallow: * / trackback Disallow: * / * / trackback Disallow: / feed Disallow: * / feed Disallow: / category / * / * Disallow: / comments Disallow: * / comment- * Disallow: * / trackback User-agent: Yandex Disallow: / cgi-bin Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback Disallow: * / trackback Disallow: * / * / trackback Disallow: / feed Disallow: * / feed Disallow: / category / * / * Disallow: / komentarze Disallow: * / comment- * Disallow: * / trackback Host: site.ru Mapa strony: http : //site.ru/sitemap.xml User-agent: Googlebot-Image Zezwól: / wp-content / uploads / User-agent: YandexImages Zezwól: / wp-content / uploads /

Możesz pobrać gotowy plik pod tym linkiem: robots.txt . Pobierz i rozpakuj plik do dowolnego folderu na komputerze. Z pomocą klienta ftp (na przykład FileZilla) prześlij plik do katalogu głównego swojej witryny, nie zapominając o zastąpieniu nazwy site.ru w pliku nazwą witryny. W rezultacie plik powinien być dostępny pod adresem:

http: //your_site/robots.txt

Krótki opis głównych dyrektyw pliku robots.txt

Plik zawiera głównie kilka dyrektyw.

• user-agent - oznacza akcje dla konkretnego robota: googlebot, yandex
• host - określane jest główne lustro witryny uczestniczącej w wyszukiwaniu
• nie zezwalaj - zabrania dostępu robota do witryny lub niektórych jej sekcji
• allow - umożliwia robotowi dostęp do witryny lub niektórych jej sekcji

Co blokować, na co pozwolić?

Ja, podobnie jak wielu webmasterów, radzimy zapobiegać indeksowaniu wszystkich treści, które prowadzą do powielania treści. Są to wiadomości RSS, wyniki wyszukiwania lub linki do odpowiedzi na komentarze i strony kategorii lub kategorii.

Radzę również zablokować linki do komentarzy i trackbacków, ponieważ są one dostępne na stronach z postami. Blokowanie ich pomaga zmniejszyć liczbę linków wychodzących i ma pozytywny wpływ na optymalizację SEO.

Do indeksowania dozwolone jest wszystko inne. Należy zauważyć, że pożądany jest dostęp do folderu / wp-content / uploads z pobranymi plikami multimedialnymi oddzielnie dla każdego robota.

Teraz wiesz, jak utworzyć odpowiedni plik robots.txt dla WordPress.