Индексация в поисковых системах

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску

Индексирование в поисковых системах (веб-индексирование) — процесс добавления сведений (о сайте) роботом поисковой машины в базу данных, впоследствии использующуюся для (полнотекстового) поиска информации на проиндексированных сайтах.

В сведения о сайте чаще всего входят ключевые слова (алгоритм определения ключевых слов зависит от поисковой системы), статьи, ссылки, документы, также могут индексироваться изображения, аудио и т. д.

Существуют некоторые ограничения на типы индексируемых данных (javascript, flash-файлы).

Для управления индексацией (например, запрета индексации той или иной страницы) используется файл robots.txt и такие директивы как Disallow, Allow, User-agent, Crawl-delay и другие. Также, для управления индексацией применяют теги <noindex> и атрибут <nofollow>, закрывающие содержимое сайта от роботов Яндекса и Google соответственно (Yahoo использует тег <nofollow>).

Скорость индексации новых сайтов в поисковой системе Яндекс занимает от одной недели до четырех недель[1], в Google — от нескольких минут до одной недели[2].

Методы[править | править код]

См. также[править | править код]

Примечания[править | править код]

  1. Индексация сайтов в Яндекс.
  2. Индексация сайтов в Google.
  3. Александр Брушкивский. Подробный мануал по индексации страниц сайта. Блог Александра Брушкивского (28 октября 2018).