Bot-Internet-Indizierung

Welche Bots indizieren Websites?

Diese Seite zeigt die Bots und automatisierten Agenten, die seit unserem geheimen Root-Domain-Endpunkt unseren geheimen Root-Domain-Endpunkt besuchen. 18 Juni 2026. Um die Suche zu erschweren, bestand der Domänenname aus einer obskuren, zufälligen Buchstaben- und Zahlenfolge einer selten verwendeten TLD. Die Website lud JavaScript, Bilder und Medien sowie Premium-Webtechnologien, um zu bestimmen, wie tief die Site indiziert wurde.

Wo sind die Konkurrenten? 😳

Da unsere geheime Website erstellt wurde am 18th Juni 2026, Kein einziges Unternehmen, das sich als Konkurrent im Bereich Technologieindexierung sieht, fand die Website. im 81 Tage, seit denen das Experiment läuft.

 

BuiltWith fand die Website innerhalb von 2 Tagen nach deren Existenz. ohne Insiderwissen von uns. Das bedeutet, dass die Websites Ihres Konkurrenten, wenn Sie ihn für die Technologieverfolgung verwenden, bei weitem übersehen werden, wenn sie überhaupt gefunden werden.

206 identifizierte Benutzeragenten 92.443 Anfragen über 57.217 Sitzungen von 9.437 IP-Adressen. Datum zuletzt generiert 07 September 2026 00:20 UTC.

scrapy.org wurde identifiziert durch 2 Benutzeragenten, Herstellung 16 Anfragen von 14 IP-Adressen.

Sein erster Besuch war 5 Stundes, 20 Minutes, 4 zweites nachdem die Site live geschaltet wurde.

September 2026
scrapy.org
scrapy.org Web Crawling Framework

Scrapy is an open-source Python framework used to build web crawlers and data-extraction applications.
Scrapy/2.17.0 (+https://scrapy.org)

64 Tage seit dem Start der Website
scrapy.org
scrapy.org Web Crawling Framework

Scrapy is an open-source Python framework used to build web crawlers and data-extraction applications.
Scrapy/2.16.0 (+https://scrapy.org)

0 Tage seit dem Start der Website
Website gestartet am 18 Juni 2026