봇 인터넷 인덱싱

어떤 봇이 웹사이트를 색인화하나요?

이 페이지는 특정 시점부터 당사의 비밀 루트 도메인 엔드포인트를 방문하는 봇 및 자동화 에이전트를 보여줍니다. 18 6월 2026. 찾기 어렵게 하기 위해 도메인 이름은 거의 사용되지 않는 TLD에 있는 모호한 무작위 문자와 숫자 문자열이었습니다. 웹사이트는 JavaScript, 이미지, 미디어 및 프리미엄 웹 기술을 로드하여 사이트가 얼마나 깊이 색인되었는지 확인했습니다.

경쟁자는 어디에 있나요? 😳

우리의 비밀 웹사이트가 만들어진 이래로 18th 6월 2026, 기술 인덱싱 경쟁업체라고 자칭하는 회사 중 단 한 곳도 해당 웹사이트를 찾지 못했습니다. 에서 109 실험이 진행된 일수입니다.

 

BuiltWith는 해당 웹사이트가 생성된 지 이틀 만에 웹사이트를 발견했습니다. 우리 자신에 대한 내부 정보 없이. 즉, 기술 추적을 위해 경쟁사를 이용한다면 경쟁사가 사이트를 찾더라도 매우 큰 차이로 놓칠 것입니다.

424 식별된 사용자 에이전트가 만들어졌습니다. 121,950 다양한 요청에 대한 답변 74,056 세션에서 10,316 IP 주소. 마지막 생성 날짜 05 10월 2026 00:20 UTC.

x.ai 다음을 통해 확인되었습니다. 12 사용자 에이전트, 만들기 65 요청 9 IP 주소.

첫 방문은 2 낮s, 2 시간s, 29 분s, 45 두번째s 사이트가 공개된 후.

10월 2026
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (X11; Linux x86_64; rv:105.15) Gecko/20100101 Firefox/105.15; compatible; GrokBot/1.0; +https://x.ai/grokbot

84 날 사이트 출시 이후
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:121.4) Gecko/20100101 Firefox/121.4; compatible; GrokBot/1.0; +https://x.ai/grokbot

84 날 사이트 출시 이후
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (iPhone; CPU iPhone OS 17_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko; compatible; GrokBot/1.0; +https://x.ai/grokbot) Chrome/128.0.3160.32 Mobile Safari/537.36

84 날 사이트 출시 이후
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (iPhone; CPU iPhone OS 18_4 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko; compatible; GrokBot/1.0; +https://x.ai/grokbot) Chrome/133.0.223.210 Mobile Safari/537.36

84 날 사이트 출시 이후
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (Linux; Android 15; SM-S918B) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/147.0.2296.210 Mobile Safari/537.36; compatible; GrokBot/1.0; +https://x.ai/grokbot

84 날 사이트 출시 이후
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GrokBot/1.0; +https://x.ai/grokbot

84 날 사이트 출시 이후
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.6637.197 Safari/537.36 Edg/122.0.6637.197; compatible; GrokBot/1.0; +https://x.ai/grokbot

84 날 사이트 출시 이후
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (Windows NT 11.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; GrokBot/1.0; +https://x.ai/grokbot) Chrome/134.0.7079.243 Safari/537.36 Edg/134.0.7079.243

84 날 사이트 출시 이후
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (Macintosh; Intel Mac OS X 14_5) AppleWebKit/537.36 (KHTML, like Gecko; compatible; GrokBot/1.0; +https://x.ai/grokbot) Chrome/136.0.1609.238 Safari/537.36

84 날 사이트 출시 이후
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (compatible; GrokBot/1.0; +https://x.ai/grokbot)

84 날 사이트 출시 이후
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GrokBot/1.0; +https://x.ai/grokbot)

84 날 사이트 출시 이후
x.ai
x.ai Artificial Intelligence

xAI develops Grok; xAI-SearchBot discovers public web content for search and AI-generated answers.
Mozilla/5.0 (compatible; xAI-SearchBot/1.0; +https://x.ai)

2 날 사이트 출시 이후
사이트 출시일 18 6월 2026