봇 인터넷 인덱싱

어떤 봇이 웹사이트를 색인화하나요?

이 페이지는 특정 시점부터 당사의 비밀 루트 도메인 엔드포인트를 방문하는 봇 및 자동화 에이전트를 보여줍니다. 18 6월 2026. 찾기 어렵게 하기 위해 도메인 이름은 거의 사용되지 않는 TLD에 있는 모호한 무작위 문자와 숫자 문자열이었습니다. 웹사이트는 JavaScript, 이미지, 미디어 및 프리미엄 웹 기술을 로드하여 사이트가 얼마나 깊이 색인되었는지 확인했습니다.

경쟁자는 어디에 있나요? 😳

우리의 비밀 웹사이트가 만들어진 이래로 18th 6월 2026, 기술 인덱싱 경쟁업체라고 자칭하는 회사 중 단 한 곳도 해당 웹사이트를 찾지 못했습니다. 에서 65 실험이 진행된 일수입니다.

 

BuiltWith는 해당 웹사이트가 생성된 지 이틀 만에 웹사이트를 발견했습니다. 우리 자신에 대한 내부 정보 없이. 즉, 기술 추적을 위해 경쟁사를 이용한다면 경쟁사가 사이트를 찾더라도 매우 큰 차이로 놓칠 것입니다.

183 식별된 사용자 에이전트가 만들어졌습니다. 85,078 다양한 요청에 대한 답변 53,749 세션에서 8,951 IP 주소. 마지막 생성 날짜 21 8월 2026 00:20 UTC.

commoncrawl.org 다음을 통해 확인되었습니다. 1 사용자 에이전트, 만들기 53 요청 9 IP 주소.

첫 방문은 19 시간s, 35 분s 사이트가 공개된 후.

8월 2026
commoncrawl.org
commoncrawl.org Web Data

Common Crawl operates CCBot and publishes an open repository of web crawl data for research and analysis.
CCBot/2.0 (https://commoncrawl.org/faq/)

0 날 사이트 출시 이후
사이트 출시일 18 6월 2026