Глубокая паутина

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Глубокая паутина (также известна как невидимая сеть) — множество веб-страниц Всемирной паутины, не индексируемых поисковыми системами. Термин произошёл от соотв. англ. invisible web[1]. Наиболее значительной частью глубокой паутины является глубинный веб (от англ. deep web, hidden web), состоящий из веб-страниц, динамически генерируемых по запросам к онлайн базам данных[2].

Не следует смешивать понятие глубокая паутина с понятием тёмная паутина (от англ. англ. dark web), под которым имеются в виду сетевые сегменты, вообще не подключённые к сети Интернет.

Суть проблемы[править | править вики-текст]

В глубокой паутине находятся веб-страницы, не связанные с другими гиперссылками — например, страницы, динамически создаваемые по запросам к базам данных. В глубокой паутине также находятся сайты, доступ к которым открыт только для зарегистрированных пользователей. Поисковые системы используют специальных роботов (англ. web crawler), которые переходят по гиперссылкам и индексируют содержимое веб-страниц, на которых они оказываются. В то же время, информация из баз данных, доступная пользователям через поисковые веб-формы (но не по гиперссылкам), остаётся недоступной для робота, неспособного в режиме реального времени правильно заполнить форму значениями (другими словами, сформировать запрос к базе данных). Таким образом, значительная часть Всемирной паутины оказывается скрыта от поисковых роботов. Используя аналогию, информация, будучи недоступной для поисковых систем, находится «на глубине» (от англ. deep).

Масштаб[править | править вики-текст]

Размер глубокой паутины неизвестен. Существуют относительно достоверные оценки общего числа сайтов, ведущих к онлайн базам данных: около 300 тысяч таких сайтов во всём Вебе в 2004 году и около 14 тысяч в Рунете в 2006 году[3][4]. Обычные пользователи бывают буквально потрясены, когда узнают о том, что Deep web превышает по своей информационной ёмкости доступный им интернет как минимум более чем в 500 раз[5][неавторитетный источник?].

Использование[править | править вики-текст]

Для входа на любой сайт Deep Web данные пользователей шифруются и в таком виде отправляются через таких же участников сети. Недостаток работы этой передачи данных при её анонимности — это довольно низкая скорость.

Для входа в теневой Интернет используется браузер (или плагин для браузера), созданный на базе проекта Tor. Этот проект был разработан военными США, а потом рассекречен и его коды переданы независимым компаниям-разработчикам. Tor — доминирующая технология, использующая т. н. «луковую» маршрутизацию. Сеть позволяет сохранять анонимность отправителей и получателей сообщений и обеспечивает защиту содержания этих сообщений во время их прохождения по ней.

Все соединения в скрытой сети Tor анонимны: ни поставщик интернета, ни владелец сайта не смогут узнать, кто пользователь на самом деле (при использовании HTTPS). Это работает благодаря тому, что сеть подменяет настоящий адрес компьютера поддельным.

Поиск по глубокой паутине[править | править вики-текст]

В 2005 году компания «Yahoo!» сделала серьёзный шаг к решению этой проблемы. Компания выпустила поисковый движок «Yahoo! Subscriptions», который производит поиск по сайтам (пока немногочисленным), доступ к которым открыт только зарегистрированным участникам этих сайтов. Это, однако, полностью не решило имеющейся проблемы. Эксперты поисковых систем по-прежнему пытаются найти технические возможности для индексации содержимого баз данных и доступа к закрытым веб-сайтам.

Одним из популярных сервисов, работающих с данными глубокой паутины, является UFOseek, изначально предназначенный для систематизации данных о паранормальных явлениях[6].

Специальные поисковые машины:

См. также[править | править вики-текст]

Примечания[править | править вики-текст]

  1. Gary Price, Chris Sherman. The Invisible Web: Uncovering Information Sources Search Engines Can’t See. — CyberAge Books, 2001, ISBN 0-910965-51-X.
  2. Денис Шестаков, Наталья Воронцова (2005). «Структура русскоязычной части глубинного Веба». Интернет-математика 2005, стр.320-341.
  3. Denis Shestakov (2011). «Sampling the National Deep Web». Proceedings of the 22nd International Conference on Database and Expert Systems Applications (DEXA), стр.331-340.
  4. How big is the internet?.
  5. Хорошее и плохое в Deep Web.
  6. Игорь Райхман, 2013, с. 118

Литература[править | править вики-текст]

Ссылки[править | править вики-текст]