robots.txt

Материал из Википедии — свободной энциклопедии

Перейти к: навигация, поиск

robots.txt — файл ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt). При наличии нескольких субдоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт Sitemaps, который служит прямо противоположной цели: облегчать роботам доступ к содержимому.

Использование файла добровольно. Стандарт был принят консорциумом 30 января 1994 года в списке рассылки robots-request@nexor.co.uk и с тех пор используется большинством известных поисковых машин.

Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться.

Файл robots.txt может использоваться для указания расположения файла Sitemaps.

Содержание

[править] Описание структуры

Файл состоит из записей. Записи разделяются одной или более пустых строк (признак конца строки: символы CR, CR+LF, LF). Каждая запись содержит непустые строки следующего вида:

<поле>:<необязательный пробел><значение><необязательный пробел>

где поле — это либо User-agent, либо Disallow.

Сравнение производится методом простого поиска подстроки. Например, запись Disallow: /about запретит доступ как к разделу http://example.com/about/, так и к файлу http://example.com/about.php, а запись Disallow: /about/ — только к разделу http://example.com/about/.

[править] Проверка синтаксиса

Для проверки синтаксиса и структуры файла robots.txt существует ряд специализированных онлайн-служб.

Существует специализированная поисковая система BotSeer, которая позволяет осуществлять поиск по файлам robots.txt.

[править] Примеры

Запрет доступа всех роботов ко всему сайту:

User-agent: *
Disallow: /

Запрет доступа определенного робота к каталогу /private/:

User-agent: googlebot
Disallow: /private/

[править] Нестандартные директивы

Crawl-delay: устанавливает время, которое робот должен выдерживать между загрузкой страниц. Если робот будет загружать страницы слишком часто, это может создать излишнюю нагрузку на сервер. Впрочем, современные поисковые машины по умолчанию задают достаточную задержку в 1-2 секунды.

User-agent: *
Crawl-delay: 10

Allow: имеет действие, обратное директиве Disallow — разрешает доступ к определенной части ресурса. Поддерживается всеми основными поисковиками. В следующем примере разрешается доступ к файлу photo.html, а доступ поисковиков ко всей остальной информации в каталоге /album1/ запрещается.

Allow: /album1/photo.html
Disallow: /album1/

[править] Расширенный стандарт

Был предложен расширенный стандарт robots.txt, включающий такие директивы как Request-rate и Visit-time. Например:

User-agent: *
Disallow: /downloads/
Request-rate: 1/5         # загружать не более одной страницы за пять секунд
Visit-time: 0600-0845     # загружать страницы только в промежуток с 6 утра до 8:45 по Гринвичу.


[править] Источники

[править] Ссылки

п·о·р
Поисковая оптимизация
Стандарты исключений robots.txt • Мета-теги • nofollow • noindex
Темы, относящиеся к маркетингу Интернет-маркетинг • Партнёрская программа • Маркетинг по электронной почте • Реклама на экране • Интернет-статистика
Темы, относящиеся к поисковому маркетингу Поисковый маркетинг • Продвижение сайта в социальных сетях (SMO) • Управление присутствием личной информации в сети • Платное включение в индекс • Оплата за клик • Гуглбомбинг
Поисковый спам Поисковый спам • Автоматический сбор данных • Сайты с неоригинальным контентом • Линкоферма • Free for all linking
Ссылки Внешние факторы в поисковой оптимизации • Популярность ссылки • Обмен ссылками • Взаимные ссылки • Multiway linking • Биржа ссылок • Бэклинки (ссылки на сайт)
Другое Страница приземления • Геотаргетинг • Оптимизация страниц приземления • Поисковая система с ручным отбором результатов • Стоп-слова • Подозрительные слова
Источник — «http://ru.wikipedia.org/wiki/Robots.txt»