Deep Web — глубокий интернет


deep-webГлубокая паутина (также известна как невидимая сеть) — множество веб-страниц Всемирной паутины, не индексируемых поисковыми системами. Термин произошел от соотв. англ. invisible web. Наиболее значительной частью глубокой паутины является глубинный веб (от англ. deep web, hidden web), состоящий из веб-страниц, динамически генерируемых по запросам к онлайн базам данных. Не следует смешивать понятие глубокая паутина с понятием тёмная паутина (от англ. англ. dark web), под которым имеются в виду сетевые сегменты, вообще не подключённые к сети Интернет.

В глубокой паутине находятся веб-страницы, не связанные с другими гиперссылками — например, страницы, динамически создаваемые по запросам к базам данных. В глубокой паутине также находятся сайты, доступ к которым открыт только для зарегистрированных пользователей. Поисковые системы используют специальных роботов (англ. web crawler), которые переходят по гиперссылкам и индексируют содержимое веб-страниц, на которых они оказываются. В то же время, информация из баз данных, доступная пользователям через поисковые веб-формы (но не по гиперссылкам), остается недоступной для робота, неспособного в режиме реального времени правильно заполнить форму значениями (другими словами, сформировать запрос к базе данных). Таким образом, значительная часть Всемирной паутины оказывается скрыта от поисковых роботов. Используя аналогию, информация, будучи недоступной для поисковых систем, находится «на глубине» (от англ. deep).Deep-Web-TM (2)

 

Размер глубокой паутины неизвестен и в целом трудно оценим, в первую очередь, в силу размытости самого понятия. Тем не менее, существуют относительно достоверные оценки общего числа сайтов, ведущих к онлайн базам данных: около 300 тысяч таких сайтов во всем Вебе в 2004 году и около 14 тысяч в Рунете в 2006 году

В 2005 году компания «Yahoo!» сделала серьёзный шаг к решению этой проблемы. Компания выпустила поисковый движок «Yahoo! Subscriptions», который производит поиск по сайтам (пока немногочисленным), доступ к которым открыт только зарегистрированным участникам этих сайтов.

Это, однако, полностью не решило имеющейся проблемы. Эксперты поисковых систем по-прежнему пытаются найти технические возможности для индексации содержимого баз данных и доступа к закрытым веб-сайтам.

Одним из популярных сервисов, работающих с данными глубокой паутины, является UFOseek, изначально предназначенный для систематизации данных о паранормальных явлениях.

Специальные поисковые машины

Ниже приведена приблизительная схема уровней Сети. Список уровней дан в порядке их  углубления» в Сеть.

Level D:

  • Социальные сети
  • Блоги
  • Порно
  • Имиджборды
  • Мелкоборды
  • ARG
  • Закрытые сообщества
  • Жёсткое порно
  • Сборники странных ссылок

Level С:

  • Тор
  • Нет-арт
  • Хакерские сообщества
  • i2p
  • Мёртвые форумы
  • Freenet
  • Информация о меметике
  • Будущие сайты
  • Две интернет-секты
  • Результаты поиска по словам из подсознания
  • Deep Web
  • Предел врзможностей brutforce-нетсталкинга
  • Dark Internet
  • Номерные радиостанции
  • Секретные правительственные радиостанции

Level B:

  • Так называемый «Перевал»
  • Форумы исследователей
  • Пустые страницы
  • Несуществующие IP
  • Void
  • Несуществующие страницы
  • Путь наверх, обратно, в последний раз
  • Несуществующие протоколы
  • Здесь нужны старые браузеры
  • Действительно опасная точка
  • You Tube для уровня B
  • Случайные числа
  • Маленькая имиджборда
  • Тонны бесполезной информации
  • Тонны полезной информации
  • Ценная фраза
  • Предел человеческих возможностей
  • Управление уровнем D
  • Holes
  • Смерть
  • Резонанс Шумана
  • Мёртвая зона
  • Ужасающая правда о зеркалах
  • Управление уровнем C
  • Тихий дом 🙂

Deep_Web_2