Индексация ботов в Интернете

Какие сайты индексируют боты?

На этой странице отображаются боты и автоматизированные агенты, посещающие нашу секретную корневую доменную точку с момента 18 июня 2026. Чтобы затруднить поиск, доменное имя представляло собой непонятную случайную последовательность букв и цифр на редко используемом домене верхнего уровня. Веб-сайт загружал JavaScript, изображения и мультимедиа, а также премиальные веб-технологии для определения глубины индексации сайта.

Где конкуренты? 😳

Поскольку наш секретный сайт был создан 18th Июнь 2026, Ни одна компания, считающая себя конкурентом в сфере индексирования технологий, не нашла этот веб-сайт. в 64 эксперимент длится уже несколько дней.

 

Сайт BuiltWith был обнаружен в течение 2 дней с момента его создания. без каких-либо инсайдерских знаний от нас самих. Это значит, что если вы используете конкурента для отслеживания технологий, он пропустит сайты с очень большим отрывом, если вообще их обнаружит.

183 идентифицированные пользовательские агенты 84 857 запросы по всему 53 653 сессии из 8 926 IP-адреса. Дата последнего сгенерированного данных. 20 августа 2026 00:20 UTC.

openai.com был выявлен посредством 9 пользовательские агенты, изготовление 1 410 запросы от 92 IP-адреса.

Его первый визит состоялся 1 час, 2 минутаs, 57 второйs после того, как сайт был запущен.

Август 2026
openai.com
openai.com Artificial Intelligence

OpenAI develops ChatGPT; its agents retrieve public pages for search, user-requested browsing, and model development.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

55 дней с момента запуска сайта
openai.com
openai.com Artificial Intelligence

OpenAI develops ChatGPT; its agents retrieve public pages for search, user-requested browsing, and model development.
Mozilla/5.0 (compatible; OAI-SearchBot/1.3; +https://openai.com/searchbot)

2 дней с момента запуска сайта
openai.com
openai.com Artificial Intelligence

OpenAI develops ChatGPT; its agents retrieve public pages for search, user-requested browsing, and model development.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ChatGPT-User/1.0; +https://openai.com/bot)

2 дней с момента запуска сайта
openai.com
openai.com Artificial Intelligence

OpenAI develops ChatGPT; its agents retrieve public pages for search, user-requested browsing, and model development.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.3; +https://openai.com/gptbot)

2 дней с момента запуска сайта
openai.com
openai.com Artificial Intelligence

OpenAI develops ChatGPT; its agents retrieve public pages for search, user-requested browsing, and model development.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot

0 дней с момента запуска сайта
Июнь 2026
openai.com
openai.com Artificial Intelligence

OpenAI develops ChatGPT; its agents retrieve public pages for search, user-requested browsing, and model development.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.2; +https://openai.com/gptbot

0 дней с момента запуска сайта
openai.com
openai.com Artificial Intelligence

OpenAI develops ChatGPT; its agents retrieve public pages for search, user-requested browsing, and model development.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot

0 дней с момента запуска сайта
openai.com
openai.com Artificial Intelligence

OpenAI develops ChatGPT; its agents retrieve public pages for search, user-requested browsing, and model development.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)

0 дней с момента запуска сайта
openai.com
openai.com Artificial Intelligence

OpenAI develops ChatGPT; its agents retrieve public pages for search, user-requested browsing, and model development.
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; robots.txt; +https://openai.com/searchbot

0 дней с момента запуска сайта
Сайт запущен 18 июня 2026