Индексация ботов в Интернете

Какие сайты индексируют боты?

На этой странице отображаются боты и автоматизированные агенты, посещающие нашу секретную корневую доменную точку с момента 18 июня 2026. Чтобы затруднить поиск, доменное имя представляло собой непонятную случайную последовательность букв и цифр на редко используемом домене верхнего уровня. Веб-сайт загружал JavaScript, изображения и мультимедиа, а также премиальные веб-технологии для определения глубины индексации сайта.

Где конкуренты? 😳

Поскольку наш секретный сайт был создан 18th Июнь 2026, Ни одна компания, считающая себя конкурентом в сфере индексирования технологий, не нашла этот веб-сайт. в 83 эксперимент длится уже несколько дней.

 

Сайт BuiltWith был обнаружен в течение 2 дней с момента его создания. без каких-либо инсайдерских знаний от нас самих. Это значит, что если вы используете конкурента для отслеживания технологий, он пропустит сайты с очень большим отрывом, если вообще их обнаружит.

209 идентифицированные пользовательские агенты 96 740 запросы по всему 60 451 сессии из 9 497 IP-адреса. Дата последнего сгенерированного данных. 09 сентября 2026 00:20 UTC.

github.com был выявлен посредством 6 пользовательские агенты, изготовление 33 запросы от 6 IP-адреса.

Его первый визит состоялся 28 деньs, 17 часs, 41 минутаs, 47 второйs после того, как сайт был запущен.

Сентябрь 2026
github.com
github.com


HUNT-Bot/0.1 (+https://github.com/hunt-discovery; discovery engine)

71 дней с момента запуска сайта
github.com
github.com


understory/0.1 (CT research; https://github.com/0x4b) +contact-via-repo

41 дней с момента запуска сайта
github.com
github.com


Mozilla/5.0 (compatible; rust_sniffer/0.1; +https://github.com/)

37 дней с момента запуска сайта
github.com
github.com


ucp-crawler/0.1 (+https://github.com/huckleberry-inc/ucp-crawler)

34 дней с момента запуска сайта
github.com
github.com


Mozilla/5.0 (compatible; jscrawler/0.1; +https://github.com/)

32 дней с момента запуска сайта
Июль 2026
github.com
github.com


httpx - Open-source project (github.com/projectdiscovery/httpx)

28 дней с момента запуска сайта
Сайт запущен 18 июня 2026