Der SerpfullAuditor-Crawler
Wie sich unser Seitenprüfer identifiziert, was er anfordert und wie man ihn steuert.
SEO-Audits werden mit diesem User-Agent von unseren Servern abgerufen:
Mozilla/5.0 (compatible; SerpfullAuditor/1.0; +https://serpfull.com/documentation/seo-audit-crawler)Was er anfordert
- Die geprüfte Seite, einmal pro Audit, mit einem Timeout von 15 Sekunden und einem Limit von 3 MB. Weiterleitungen werden nur innerhalb derselben Website verfolgt.
- robots.txt für jede besuchte Website, eine Stunde lang zwischengespeichert.
- Eine Stichprobe von Links und Bildern auf der Seite (bis zu 20 Links und 8 Bilder, mit HEAD-Anfragen, wo unterstützt) zur Erkennung von defekten Links und großen Bildern, höchstens eine Anfrage pro anderer Website pro Audit.
- Nur öffentliche Adressen auf den Ports 80 und 443.
Höflichkeit
Audits derselben Website, kombiniert von allen Kunden, starten mindestens 10 Sekunden auseinander und es laufen nie mehr als zwei gleichzeitig. Geplante Audits laufen standardmäßig wöchentlich.
Blockieren oder erlauben
Er folgt den robots.txt-Regeln für das SerpfullAuditor-Token und greift auf die *-Gruppe zurück. Eine nicht erlaubte URL wird nicht abgerufen und das Audit berichtet den Grund. Wenn robots.txt nicht erreichbar ist (Serverfehler oder Timeout), behandeln wir die Seite für diese Stunde als nicht erlaubt.
User-agent: SerpfullAuditor
Disallow: /private/Fragen oder Bedenken zu Anfragen vom SerpfullAuditor? Kontaktieren Sie support@serpfull.com mit URL und Zeit.
Aktualisiert