Индексирующие роботы запрограммированы для просмотра документов в Интернете. Они являются частью поисковой экосистемы. Знание того, как они работают, является частью миссии SEO.

Термины « сканер» , «робот- обходчик» или «паук» относятся к компьютерному миру как к индексирующему роботу. В частности, это программное обеспечение, основная задача которого - исследовать Интернет, анализировать содержание посещаемых документов и сохранять их в виде индекса.

Поэтому сканер постоянно, автономно и автоматически перемещается по различным сайтам и интернет-страницам в поисках нового контента или возможных обновлений контента, уже исследованного в прошлом. Основная операция робота-обходчика напоминает вредоносные программы, такие как спам-боты или вредоносные программы, но в отличие от них, их прохождение не наносит вреда сайту. За этой деятельностью скрывается еще одна миссия: индексация веб-страниц в соответствии с качеством контента (оценивается в соответствии с критериями, установленными выше) и, таким образом, помощь поисковые системы классифицировать веб-страницы в отображении результатов.

Сканеры могут быть запрограммированы для просмотра веб-страниц с конкретными целями. Они всегда активны и посещают страницы в соответствии с данными им инструкциями.

Один из самых известных сканеров - тот, который Google использует для своей поисковой системы, Googlebot , До него поисковая система AltaVista использовала гусеничный Scooter для выполнения этой же миссии. Поисковые роботы следуют нескольким путям, чтобы добраться до документов для изучения. Либо они исходят из существующих результатов в поисковых системах, либо следуют списку, либо подчиняются одноразовым материалам, либо переходят по ссылкам, с которыми они сталкиваются при исследовании. У каждого двигателя свои правила. SEO очень интересуются тем, как работают поисковые системы, потому что это дает им указатели для индексации важных веб-страниц.

В настоящее время существует так много веб-страниц, что сканеры должны ограничивать время посещения каждого сайта как можно больше. Бюджет сканирования - это время, выделяемое роботом для изучения сайта во время каждого прохода. Это время варьируется для каждого сайта в зависимости от его размера и сферы полномочий (то есть от уверенности, которую двигатель ему наделяет, особенно от его популярности). Поэтому сканер посещает, как правило, только часть сайта с каждым переходом.

Использование индексирующих роботов разнообразно в области SEO.

• Индексирование для поисковых систем в сети. Google и Bing являются двумя крупнейшими издателями роботов на Западе, но они не единственные.
• Диагностическое сканирование для инструментов SEO. Чтобы донести полезную информацию до своих пользователей, издатели SEO-решений разрабатывают собственные сканеры.
• Поддерживать ценовой контроль на ограниченном рынке. Amazon, например, представила этот тип программного обеспечения для сканирования, чтобы отслеживать цены продуктов, продаваемых дома в Интернете.
• SEO практикует черную шляпу

• Индексирующий робот
• Индексирующий робот просматривает сеть, чтобы помочь поисковым системам отображать хорошие результаты.
• Сканер путешествует по сети, чтобы помочь поисковым системам отображать правильные результаты.

Googlebot, Scooter, SEMRush, OnCrawl, Bing, Yahoo и др.

Смотрите на эту тему: