Bot-Internet-Indizierung

Welche Bots indizieren Websites?

Diese Seite zeigt die Bots und automatisierten Agenten, die seit unserem geheimen Root-Domain-Endpunkt unseren geheimen Root-Domain-Endpunkt besuchen. 18 Juni 2026. Um die Suche zu erschweren, bestand der Domänenname aus einer obskuren, zufälligen Buchstaben- und Zahlenfolge einer selten verwendeten TLD. Die Website lud JavaScript, Bilder und Medien sowie Premium-Webtechnologien, um zu bestimmen, wie tief die Site indiziert wurde.

Wo sind die Konkurrenten? 😳

Da unsere geheime Website erstellt wurde am 18th Juni 2026, Kein einziges Unternehmen, das sich als Konkurrent im Bereich Technologieindexierung sieht, fand die Website. im 109 Tage, seit denen das Experiment läuft.

 

BuiltWith fand die Website innerhalb von 2 Tagen nach deren Existenz. ohne Insiderwissen von uns. Das bedeutet, dass die Websites Ihres Konkurrenten, wenn Sie ihn für die Technologieverfolgung verwenden, bei weitem übersehen werden, wenn sie überhaupt gefunden werden.

424 identifizierte Benutzeragenten 121.950 Anfragen über 74.056 Sitzungen von 10.316 IP-Adressen. Datum zuletzt generiert 05 Oktober 2026 00:20 UTC.

github.com wurde identifiziert durch 7 Benutzeragenten, Herstellung 59 Anfragen von 10 IP-Adressen.

Sein erster Besuch war 28 Tags, 17 Stundes, 41 Minutes, 47 zweites nachdem die Site live geschaltet wurde.

Oktober 2026
github.com
github.com


Mozilla/5.0 (compatible; DocSpider/0.1; +https://github.com/)

100 Tage seit dem Start der Website
github.com
github.com


HUNT-Bot/0.1 (+https://github.com/hunt-discovery; discovery engine)

71 Tage seit dem Start der Website
github.com
github.com


understory/0.1 (CT research; https://github.com/0x4b) +contact-via-repo

41 Tage seit dem Start der Website
github.com
github.com


Mozilla/5.0 (compatible; rust_sniffer/0.1; +https://github.com/)

37 Tage seit dem Start der Website
github.com
github.com


ucp-crawler/0.1 (+https://github.com/huckleberry-inc/ucp-crawler)

34 Tage seit dem Start der Website
Juli 2026
github.com
github.com


Mozilla/5.0 (compatible; jscrawler/0.1; +https://github.com/)

32 Tage seit dem Start der Website
github.com
github.com


httpx - Open-source project (github.com/projectdiscovery/httpx)

28 Tage seit dem Start der Website
Website gestartet am 18 Juni 2026