Глубокая паутина

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Глубокая паутина (также известна как невидимая сеть) — множество веб-страниц Всемирной паутины, не индексируемых поисковыми системами. Термин произошёл от соотв. англ. invisible web[1]. Наиболее значительной частью глубокой паутины является глубинный веб (от англ. deep web, hidden web), состоящий из веб-страниц, динамически генерируемых по запросам к онлайн базам данных[2].

Не следует смешивать понятие глубокая паутина с понятием тёмная паутина (от англ. dark web), под которым имеются в виду сетевые сегменты, хотя и подключённые к общей сети Интернет, но требующие для доступа определенных программных средств, настроек или авторизации.

Суть проблемы[править | править вики-текст]

В глубокой паутине находятся веб-страницы, не связанные с другими гиперссылками — например, страницы, динамически создаваемые по запросам к базам данных. В глубокой паутине также находятся сайты, доступ к которым открыт только для зарегистрированных пользователей. Поисковые системы используют специальных роботов (англ. web crawler), которые переходят по гиперссылкам и индексируют содержимое веб-страниц, на которых они оказываются. В то же время, информация из баз данных, доступная пользователям через поисковые веб-формы (но не по гиперссылкам), остаётся недоступной для робота, неспособного в режиме реального времени правильно заполнить форму значениями (другими словами, сформировать запрос к базе данных). Таким образом, значительная часть Всемирной паутины оказывается скрыта от поисковых роботов. Используя аналогию, информация, будучи недоступной для поисковых систем, находится «на глубине» (от англ. deep).

Масштаб[править | править вики-текст]

Размер глубокой паутины неизвестен. Существуют относительно достоверные оценки общего числа сайтов, ведущих к онлайн базам данных: около 300 тысяч таких сайтов во всём Вебе в 2004 году и около 14 тысяч в Рунете в 2006 году[3][4]. Обычные пользователи бывают потрясены, когда узнают о том, что глубокая паутина превышает по своей информационной ёмкости доступный им интернет как минимум в 600 раз[5][неавторитетный источник? 103 дня].

Использование[править | править вики-текст]

При входе на сайт глубокой паутины данные пользователей шифруются и в таком виде отправляются через таких же участников сети. Недостаток работы этой передачи данных при её анонимности — это довольно низкая скорость.

При входе в «теневой» Интернет используется браузер (или плагин для браузера), созданный на базе проекта Tor. Этот проект был разработан военными США; впоследствии он рассекречен, а код передан независимым компаниям-разработчикам. Tor — доминирующая технология, использующая т. н. «луковую» маршрутизацию. Сеть позволяет сохранять анонимность отправителей и получателей сообщений и обеспечивает защиту содержания этих сообщений во время их прохождения по ней.

Все соединения в скрытой сети Tor анонимны: ни провайдер, ни владелец сайта не смогут узнать, кто пользователь на самом деле (при использовании HTTPS). Это работает благодаря тому, что сеть подменяет настоящий IP-адрес компьютера другим.

Поиск по глубокой паутине[править | править вики-текст]

В 2005 году компания «Yahoo!» сделала серьёзный шаг к решению этой проблемы. Компания выпустила поисковый движок «Yahoo! Subscriptions», который производит поиск по сайтам (пока немногочисленным), доступ к которым открыт только зарегистрированным участникам этих сайтов. Это, однако, полностью не решило имеющейся проблемы. Эксперты поисковых систем по-прежнему пытаются найти технические возможности для индексации содержимого баз данных и доступа к закрытым веб-сайтам.

Одним из популярных сервисов, работающих с данными глубокой паутины, является UFOseek, изначально предназначенный для систематизации данных о паранормальных явлениях[6].

Специальные поисковые машины:

См. также[править | править вики-текст]

Примечания[править | править вики-текст]

  1. Gary Price, Chris Sherman. The Invisible Web: Uncovering Information Sources Search Engines Can’t See. — CyberAge Books, 2001, ISBN 0-910965-51-X.
  2. Денис Шестаков, Наталья Воронцова (2005). «Структура русскоязычной части глубинного Веба». Интернет-математика 2005, стр.320-341.
  3. Denis Shestakov (2011). «Sampling the National Deep Web». Proceedings of the 22nd International Conference on Database and Expert Systems Applications (DEXA), стр.331-340.
  4. How big is the internet?.
  5. Хорошее и плохое в Deep Web.
  6. Игорь Райхман, 2013, с. 118.

Литература[править | править вики-текст]

Ссылки[править | править вики-текст]