O rastreador SerpfullAuditor

As auditorias de SEO são obtidas de nossos servidores com este agente de usuário:

Mozilla/5.0 (compatible; SerpfullAuditor/1.0; +https://serpfull.com/documentation/seo-audit-crawler)

O que solicita

• A página auditada, uma vez por auditoria, com tempo limite de 15 segundos e limite de 3 MB. Os redirecionamentos são seguidos apenas dentro do mesmo site.
• robots.txt para cada site visitado, armazenado em cache por uma hora.
• Uma amostra de links e imagens na página (até 20 links e 8 imagens, com solicitações HEAD quando suportadas) para encontrar links quebrados e imagens pesadas, no máximo uma solicitação por outro site por auditoria.
• Somente endereços públicos nas portas 80 e 443.

Polidez

As auditorias do mesmo site, de todos os clientes combinados, começam com pelo menos 10 segundos de intervalo e não mais do que duas são executadas ao mesmo tempo. As auditorias agendadas são executadas semanalmente por padrão.

Bloqueando ou permitindo

Ele segue as regras do robots.txt para o token SerpfullAuditor, voltando para o grupo *. Um URL não permitido não é obtido e a auditoria informa o motivo. Se o robots.txt não puder ser acessado (um erro de servidor ou tempo limite), trataremos o site como não permitido naquela hora.

User-agent: SerpfullAuditor
Disallow: /private/

Dúvidas ou preocupações sobre solicitações do SerpfullAuditor? Contate support@serpfull.com com o URL e a hora.