Il crawler SerpfullAuditor
Come il nostro auditor di pagina si identifica, cosa richiede e come controllarlo.
Gli audit SEO vengono recuperati dai nostri server con questo user agent:
Mozilla/5.0 (compatible; SerpfullAuditor/1.0; +https://serpfull.com/documentation/seo-audit-crawler)Cosa richiede
- La pagina auditata, una volta per audit, con timeout di 15 secondi e limite di 3 MB. I reindirizzamenti sono seguiti solo all'interno dello stesso sito web.
- robots.txt per ogni sito web visitato, memorizzato nella cache per un'ora.
- Un campione di link e immagini sulla pagina (fino a 20 link e 8 immagini, con richieste HEAD dove supportato) per trovare link rotti e immagini pesanti, al massimo una richiesta per ogni altro sito web per audit.
- Solo indirizzi pubblici sulle porte 80 e 443.
Cortesia
Gli audit dello stesso sito web, combinati per tutti i clienti, iniziano con almeno 10 secondi di intervallo e non più di due sono in esecuzione contemporaneamente. Gli audit programmati vengono eseguiti settimanalmente per impostazione predefinita.
Bloccarlo o consentirlo
Segue le regole di robots.txt per il token SerpfullAuditor, ricadendo sul gruppo *. Un URL non consentito non viene recuperato e l'audit riporta il motivo. Se robots.txt non è raggiungibile (errore server o timeout), trattiamo il sito come non consentito per quell'ora.
User-agent: SerpfullAuditor
Disallow: /private/Domande o dubbi sulle richieste da SerpfullAuditor? Contatta support@serpfull.com con URL e orario.
Aggiornato