Come ottimizzare la velocità di crawling dell'audit del tuo sito

Quando analizzi il tuo sito con Site Audit, inviamo un crawler a ispezionare le pagine che hai indicato nella configurazione dello strumento. 

Tuttavia, è possibile imbattersi in problemi collegati al crawling come:

• Il crawler analizza il sito troppo velocemente e manda in crash il sito o lo rallenta per gli utenti.
• Il crawler analizza il sito troppo velocemente e le pagine non si caricano correttamente. Di conseguenza, Semrush mostra dei "falsi positivi" o segnala problemi nei risultati dell'audit che non sarebbero stati segnalati se il crawling fosse stato più lento e il sito non fosse conseguentemente andato in crash.
• Il crawler sta impiegando troppo tempo ad analizzare il sito e tu stai aspettando troppo per avere i risultati.

Accelerare Site Audit

Se Site Audit esegue l'analisi troppo lentamente, puoi accelerarla nello step delle impostazioni del crawler nella finestra di configurazione.

Per accelerare Site Audit, scegli "ritardo minimo tra le pagine" per analizzare il sito più in fretta possibile. 

Questa azione farà in modo che il nostro bot ignori qualunque istruzione che possa rallentare il crawling presente nel file robots.txt del sito ed esegua l'analisi alla massima velocità possibile.

Se non sei ancora soddisfatto della velocità della tua analisi, lo step successivo che puoi prendere è accelerare il caricamento delle tue pagine. Quando le pagine si caricano lentamente, si rallenta anche il crawling.

Ricorda: se un bot analizza il tuo sito a una velocità molto elevata, potrebbe rallentare il caricamento delle pagine per gli utenti del sito.

Di conseguenza, in alcuni casi potrebbe essere meglio rallentare il crawling, piuttosto che accelerarlo.

Rallentare Site Audit

Se Site Audit esegue il crawling a velocità troppo elevata, potenzialmente può mandare in crash temporaneo il sito o rallentarlo per gli utenti e presentare falsi positivi. Rallenta la velocità di crawling per assicurarti che i tuoi risultati siano rappresentativi di un'esperienza utente sul sito.

Per rallentare la tua analisi ci sono alcune opzioni nelle impostazioni di configurazione:

• Dì a Semrush di analizzare 1 URL per 2 secondi. Questo farà in modo che il crawling non sovraccarichi il server del tuo sito con una quantità eccessiva di attività in un breve lasso di tempo.
• Imposta un ritardo del crawling personalizzato nel file robots.txt del tuo sito web. Se scegli l'opzione "rispetta robots.txt" negli step di configurazione, indicherai al nostro bot di eseguire il crawling alla velocità che selezionerai.
  
  Per esempio, se aggiungi "Crawl-delay: 5" al tuo file robots.txt, dirà al bot di attendere 5 secondi prima di accedere al sito per visualizzare un'altra pagina. Questo assicurerà che l'analisi proceda a un ritmo che non manderà in crash né rallenterà il sito (vedi sotto).

  User-agent: SemrushBot
  Crawl-delay: 5
  
  User-agent: SiteAuditBot
  Crawl-delay: 5 

   

Nota bene: il ritardo massimo nel crawling che possiamo applicare è 30, quindi qualunque numero superiore a 30 corrisponderà a 30 nel nostro bot. 

Se hai ancora problemi con Site Audit, prova la nostra guida alla risoluzione dei problemi oppure contatta il nostro team di assistenza.