Le crawler SerpfullAuditor

Les audits SEO sont récupérés depuis nos serveurs avec cet agent utilisateur :

Mozilla/5.0 (compatible; SerpfullAuditor/1.0; +https://serpfull.com/documentation/seo-audit-crawler)

Ce qu'il demande

• La page auditée, une fois par audit, avec un délai d'attente de 15 secondes et une limite de 3 Mo. Les redirections sont suivies uniquement au sein du même site web.
• robots.txt pour chaque site web visité, mis en cache pendant une heure.
• Un échantillon de liens et d'images sur la page (jusqu'à 20 liens et 8 images, avec des requêtes HEAD lorsque supportées) pour détecter les liens cassés et les images lourdes, au maximum une requête par autre site web par audit.
• Uniquement les adresses publiques sur les ports 80 et 443.

Politesse

Les audits du même site web, combinés pour tous les clients, commencent avec au moins 10 secondes d'intervalle et pas plus de deux sont exécutés simultanément. Les audits programmés s'exécutent par défaut chaque semaine.

Bloquer ou autoriser

Il suit les règles de robots.txt pour le token SerpfullAuditor, en revenant au groupe *. Une URL interdite n'est pas récupérée et l'audit en rapporte la raison. Si robots.txt est inaccessible (erreur serveur ou délai d'attente), nous considérons le site comme interdit pour cette heure.

User-agent: SerpfullAuditor
Disallow: /private/

Des questions ou préoccupations concernant les requêtes de SerpfullAuditor ? Contactez support@serpfull.com avec l'URL et l'heure.