Googlebot

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск
Googlebot
Тип

Поисковый робот

Автор

Google

Сайт

google.com/support/webmasters/bin/answer.py?answer=80553

Googlebotпоисковый робот компании Google, используемый для сканирования мировой сети и пополнения поискового индекса системы Google. Робот начинает сканирование каждого отдельного сайта с получения списка URL-адресов веб-страниц, созданного по результатам предыдущих сеансов, и пополняет его данными из файлов Sitemap; просматривая страницы, робот ищет ссылки (SRC и HREF) и добавляет их в список страниц, подлежащих сканированию.

Веб-мастера могут управлять роботом с помощью команды в файле robots.txt или мета-тега <meta name="Googlebot" content="nofollow" />; Google в списке своих инструментов для веб-мастеров даёт возможность проверить «видение» сайта роботом. IP-адреса бота время от времени меняются.
При сканировании Googlebot указывает user-agent:

  • Googlebot/2.1 (+http://www.googlebot.com/bot.html)
  • Googlebot/2.1 (+http://www.google.com/bot.html)
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot-Image/1.0 (паук, сканирующий изображения)

Ссылки[править | править вики-текст]