Perché solo alcune delle pagine del mio sito vengono scansionate

I toolkit di Semrush

SEO

Site Audit

Perché solo alcune delle pagine del mio sito sono state scansionate?

Se hai notato che solo 4-6 pagine del tuo sito web vengono scansionate (la home page, gli URL della sitemap e il file robots.txt), molto probabilmente è perché il nostro bot non è riuscito a trovare i link interni in uscita della tua homepage. Qui sotto troverai le possibili cause di questo problema.

Problema con i link interni in uscita

Potrebbero non esserci link interni in uscita sulla pagina principale, oppure potrebbero essere incorporati nel JavaScript. Se hai un abbonamento Pro, il nostro bot non analizza i contenuti JavaScript; quindi, se la tua homepage ha dei link al resto del sito nascosti in elementi JavaScript, non li leggeremo e non effettueremo il crawling di quelle pagine.

Sebbene il crawling dei contenuti JavaScript sia disponibile solo per gli utenti Guru e Business, possiamo eseguire il crawling dell'HTML di una pagina con elementi JS e possiamo esaminare i parametri dei tuoi file JS e CSS con i nostri controlli delle prestazioni indipendentemente dal tipo di abbonamento (Pro, Guru o Business).

In entrambi i casi, esiste un modo per garantire che il nostro bot esegua il crawling delle tue pagine. Per farlo, devi cambiare la fonte di crawl da "sito web" a "sitemap" o "URL da file" nelle impostazioni della campagna:

Le opzioni relative all'origine del crawl sono evidenziate nella finestra Impostazioni di Site Audit.

"Sito web" è la fonte predefinita. Significa che effettueremo il crawling del tuo sito web utilizzando un algoritmo di ricerca di tipo breadth-first e navigheremo attraverso i link che vediamo nel codice della tua pagina, a partire dalla homepage.

Se scegli una delle altre opzioni, effettueremo il crawling dei link presenti nella sitemap o nel file caricato.

Il crawler di Site Audit potrebbe essere stato bloccato

Il nostro crawler potrebbe essere stato bloccato su alcune pagine nel file robots.txt del sito o da tag noindex/nofollow. Puoi verificare se questo è il caso nel tuo report Pagine sottoposte a crawling:

Come verificare se il nostro crawler è stato bloccato su alcune pagine nel report Pagine sottoposte a crawling.

Puoi controllare il tuo Robots.txt alla ricerca di eventuali comandi Disallow che impediscano a crawler come il nostro di accedere al tuo sito web.

Se vedi il seguente codice nella pagina principale di un sito web, ci dice che non siamo autorizzati a indicizzare i link presenti e che il nostro accesso è bloccato. Oppure, una pagina che contenga almeno uno dei due: "nofollow" o "none", porterà a un errore di crawling.

<meta name="robots" content="noindex, nofollow">

Troverai maggiori informazioni su questi errori nel nostro articolo sulla risoluzione dei problemi.

La tua homepage supera i 4 MB

Attualmente Site Audit è in grado di analizzare le homepage di dimensioni non superiori a 4MB.

A pop up window that appears if your Site Audit fails to start. It states: 'We encountered an error that stopped us from crawling your website: The size of the main page is too large (more than 4 MB) for search engine crawlers to load it.'

A pop up window that appears if your Site Audit fails to start. It states: 'We encountered an error that stopped us from crawling your website: The size of the main page is too large (more than 4 MB) for search engine crawlers to load it.'

Il limite per le altre pagine del tuo sito web è di 2MB. Se le dimensioni dell'HTML di una pagina sono troppo grandi, vedrai il seguente errore:

Un esempio del report Problemi con il controllo html inserito nella barra di ricerca. Nell'elenco degli errori ce n'è uno che dice 1 pagina ha dimensioni HTML troppo grandi.

Un esempio del report Problemi con il controllo html inserito nella barra di ricerca. Nell'elenco degli errori ce n'è uno che dice 1 pagina ha dimensioni HTML troppo grandi.

Visualizza di più