Система мониторинга ONION-доменов tor

Каждый резидент сети может предоставить свои вычислительные ресурсы для организации Node-сервера — узлового элемента сети, который выполняет функцию посредника в информационном обмене клиента сети. 

Существует два типа узлов сети tor: промежуточные и выходные (так называемые exit node). Последние являются крайним звеном в операции расшифровки трафика, а значит, представляют собой конечную точку, которая может стать каналом утечки конфиденциальной или просто интересной информации.

Твоя задача весьма специфична: необходимо собрать существующие и, что самое главное, актуальные onion-ресурсы. При этом нельзя полностью доверяться внутренним поисковикам и каталогам сайтов, ведь актуальность содержащейся в них информации, а также её полнота оставляет желать лучшего.

Однако, решение задачи агрегации актуальных сайтов лежит на поверхности и за ним далеко ходить не потребуется. Для того, чтобы составить список недавно посещённых onion-ресурсов, просто нужно отследить факт обращения к ним. Как ты уже наверное заметил, exit node является конечной точкой на пути следования зашифрованного трафика, а значит, ты можешь свободно перехватывать пакеты HTTP/HTTPS-соединений Tor-пльзователя, который занимается серфиногом в «традиционном вебе».

Известно, что HTTP-пакет может содержать информацию о посещённых ранее ресурсах. Данные находятся в заголовке запроса Referer, который может содержать URL источника запроса. В «традиционном вебе» данная информация помогает веб-мастерам определить, по каким запросам в поисковых системах и с каких сайтов переходят пользователи контролируемого веб-узла.

В нашем случае достаточно пробежаться по дампам перехваченного трафика регулярным выражением, содержащим строку onion.