El rastreador SerpfullAuditor
Cómo se identifica nuestro auditor de páginas, qué solicita y cómo controlarlo.
Las auditorías SEO se obtienen de nuestros servidores con este agente de usuario:
Mozilla/5.0 (compatible; SerpfullAuditor/1.0; +https://serpfull.com/documentation/seo-audit-crawler)lo que solicita
- La página auditada, una vez por auditoría, con un tiempo de espera de 15 segundos y un límite de 3 MB. Los redireccionamientos se siguen únicamente dentro del mismo sitio web.
- robots.txt para cada sitio web que visita, almacenado en caché durante una hora.
- Una muestra de enlaces e imágenes en la página (hasta 20 enlaces y 8 imágenes, con solicitudes HEAD cuando se admitan) para encontrar enlaces rotos e imágenes pesadas, como máximo una solicitud por otro sitio web por auditoría.
- Sólo direcciones públicas en los puertos 80 y 443.
Cortesía
Las auditorías del mismo sitio web, de todos los clientes combinados, comienzan con al menos 10 segundos de diferencia y no se ejecutan más de dos a la vez. Las auditorías programadas se ejecutan semanalmente de forma predeterminada.
Bloquearlo o permitirlo
Sigue las reglas de robots.txt para el token SerpfullAuditor y vuelve al grupo *. Una URL no permitida no se recupera y la auditoría informa el motivo. Si no se puede acceder al archivo robots.txt (un error del servidor o tiempo de espera), tratamos el sitio como no permitido durante esa hora.
User-agent: SerpfullAuditor
Disallow: /private/¿Preguntas o inquietudes sobre las solicitudes de SerpfullAuditor? Póngase en contacto con support@serpfull.com con la URL y la hora.
Actualizado