Индексация ботов в Интернете

Какие сайты индексируют боты?

На этой странице отображаются боты и автоматизированные агенты, посещающие нашу секретную корневую доменную точку с момента 18 июня 2026. Чтобы затруднить поиск, доменное имя представляло собой непонятную случайную последовательность букв и цифр на редко используемом домене верхнего уровня. Веб-сайт загружал JavaScript, изображения и мультимедиа, а также премиальные веб-технологии для определения глубины индексации сайта.

Где конкуренты? 😳

Поскольку наш секретный сайт был создан 18th Июнь 2026, Ни одна компания, считающая себя конкурентом в сфере индексирования технологий, не нашла этот веб-сайт. в 109 эксперимент длится уже несколько дней.

 

Сайт BuiltWith был обнаружен в течение 2 дней с момента его создания. без каких-либо инсайдерских знаний от нас самих. Это значит, что если вы используете конкурента для отслеживания технологий, он пропустит сайты с очень большим отрывом, если вообще их обнаружит.

424 идентифицированные пользовательские агенты 121 950 запросы по всему 74 056 сессии из 10 316 IP-адреса. Дата последнего сгенерированного данных. 05 октября 2026 00:20 UTC.

x.ai был выявлен посредством 12 пользовательские агенты, изготовление 65 запросы от 9 IP-адреса.

Его первый визит состоялся 2 деньs, 2 часs, 29 минутаs, 45 второйs после того, как сайт был запущен.

Октябрь 2026
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (X11; Linux x86_64; rv:105.15) Gecko/20100101 Firefox/105.15; compatible; GrokBot/1.0; +https://x.ai/grokbot

84 дней с момента запуска сайта
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:121.4) Gecko/20100101 Firefox/121.4; compatible; GrokBot/1.0; +https://x.ai/grokbot

84 дней с момента запуска сайта
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (iPhone; CPU iPhone OS 17_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko; compatible; GrokBot/1.0; +https://x.ai/grokbot) Chrome/128.0.3160.32 Mobile Safari/537.36

84 дней с момента запуска сайта
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (iPhone; CPU iPhone OS 18_4 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko; compatible; GrokBot/1.0; +https://x.ai/grokbot) Chrome/133.0.223.210 Mobile Safari/537.36

84 дней с момента запуска сайта
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (Linux; Android 15; SM-S918B) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/147.0.2296.210 Mobile Safari/537.36; compatible; GrokBot/1.0; +https://x.ai/grokbot

84 дней с момента запуска сайта
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GrokBot/1.0; +https://x.ai/grokbot

84 дней с момента запуска сайта
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.6637.197 Safari/537.36 Edg/122.0.6637.197; compatible; GrokBot/1.0; +https://x.ai/grokbot

84 дней с момента запуска сайта
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (Windows NT 11.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; GrokBot/1.0; +https://x.ai/grokbot) Chrome/134.0.7079.243 Safari/537.36 Edg/134.0.7079.243

84 дней с момента запуска сайта
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (Macintosh; Intel Mac OS X 14_5) AppleWebKit/537.36 (KHTML, like Gecko; compatible; GrokBot/1.0; +https://x.ai/grokbot) Chrome/136.0.1609.238 Safari/537.36

84 дней с момента запуска сайта
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (compatible; GrokBot/1.0; +https://x.ai/grokbot)

84 дней с момента запуска сайта
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GrokBot/1.0; +https://x.ai/grokbot)

84 дней с момента запуска сайта
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (compatible; xAI-SearchBot/1.0; +https://x.ai)

2 дней с момента запуска сайта
Сайт запущен 18 июня 2026