Индексация ботов в Интернете

Какие сайты индексируют боты?

На этой странице отображаются боты и автоматизированные агенты, посещающие нашу секретную корневую доменную точку с момента 18 июня 2026. Чтобы затруднить поиск, доменное имя представляло собой непонятную случайную последовательность букв и цифр на редко используемом домене верхнего уровня. Веб-сайт загружал JavaScript, изображения и мультимедиа, а также премиальные веб-технологии для определения глубины индексации сайта.

Где конкуренты? 😳

Поскольку наш секретный сайт был создан 18th Июнь 2026, Ни одна компания, считающая себя конкурентом в сфере индексирования технологий, не нашла этот веб-сайт. в 83 эксперимент длится уже несколько дней.

 

Сайт BuiltWith был обнаружен в течение 2 дней с момента его создания. без каких-либо инсайдерских знаний от нас самих. Это значит, что если вы используете конкурента для отслеживания технологий, он пропустит сайты с очень большим отрывом, если вообще их обнаружит.

209 идентифицированные пользовательские агенты 96 740 запросы по всему 60 451 сессии из 9 497 IP-адреса. Дата последнего сгенерированного данных. 09 сентября 2026 00:20 UTC.

developers.facebook.com был выявлен посредством 9 пользовательские агенты, изготовление 102 запросы от 71 IP-адреса.

Его первый визит состоялся 19 часs, 35 минутаs, 3 второйs после того, как сайт был запущен.

Сентябрь 2026
developers.facebook.com
developers.facebook.com Social Media

Meta's developer platform documents meta-externalagent, which fetches public web content for Meta products and AI systems.
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/145.0.0.0 Safari/537.36 (compatible; meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler))

77 дней с момента запуска сайта
developers.facebook.com
developers.facebook.com Social Media

Meta's developer platform documents meta-externalagent, which fetches public web content for Meta products and AI systems.
meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

63 дней с момента запуска сайта
developers.facebook.com
developers.facebook.com Social Media

Meta's developer platform documents meta-externalagent, which fetches public web content for Meta products and AI systems.
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/145.0.0.0 Safari/537.36 (compatible; meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler))

63 дней с момента запуска сайта
developers.facebook.com
developers.facebook.com Social Media

Meta's developer platform documents meta-externalagent, which fetches public web content for Meta products and AI systems.
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/144.0.0.0 Safari/537.36 Edg/144.0.0.0 (compatible; meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler))

55 дней с момента запуска сайта
developers.facebook.com
developers.facebook.com Social Media

Meta's developer platform documents meta-externalagent, which fetches public web content for Meta products and AI systems.
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/145.0.0.0 Safari/537.36 Edg/145.0.0.0 (compatible; meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler))

30 дней с момента запуска сайта
Июль 2026
developers.facebook.com
developers.facebook.com Social Media

Meta's developer platform documents meta-externalagent, which fetches public web content for Meta products and AI systems.
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/145.0.0.0 Safari/537.36 (compatible; meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler))

30 дней с момента запуска сайта
developers.facebook.com
developers.facebook.com Social Media

Meta's developer platform documents meta-externalagent, which fetches public web content for Meta products and AI systems.
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/145.0.0.0 Safari/537.36 (compatible; meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler))

30 дней с момента запуска сайта
developers.facebook.com
developers.facebook.com Social Media

Meta's developer platform documents meta-externalagent, which fetches public web content for Meta products and AI systems.
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/145.0.0.0 Safari/537.36 (compatible; meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler))

27 дней с момента запуска сайта
developers.facebook.com
developers.facebook.com Social Media

Meta's developer platform documents meta-externalagent, which fetches public web content for Meta products and AI systems.
meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

0 дней с момента запуска сайта
Сайт запущен 18 июня 2026