Perché è presente la nota "pagina non accessibile" per alcune delle mie pagine?

Questo messaggio appare se il crawler di On Page SEO Checker è stato bloccato o non è stato in grado di effettuare il crawling della pagina. Controlla il file robots.txt del tuo sito web per assicurarti che consenta ai nostri user agent di eseguire il crawling delle sue pagine.

Se i nostri bot non sono bloccati nel file robots.txt, per risolvere il problema è necessario inserire nella whitelist del tuo provider di hosting e di qualsiasi plugin/servizio con cui gestisci il tuo sito (ad esempio Cloudflare o ModSecurity) i seguenti indirizzi IP e user agent:

85.208.98.53
85.208.98.0/24
User agent: SemrushBot-SI

Per specificare la porta usa una delle seguenti opzioni:

Porta 80: HTTP
Porta 443: HTTPS

Inoltre, è necessario inserire nella whitelist l'indirizzo IP del bot di Site Audit, utilizzato per il crawling delle pagine:

85.208.98.128/25 (una sottorete utilizzata solo da Site Audit)
User agent: SiteAuditBot

Se ricevi il messaggio di errore "SEMRushBot-Desktop non ha potuto effettuare il crawling della pagina perché è stato bloccato da robots.txt", le impostazioni di crawl-delay all'interno del file robots.txt non sono conformi a On Page SEO Checker. 

I crawler di On Page SEO Checker accettano solo un crawl delay di 1 secondo. Qualsiasi valore superiore fa sì che il crawler ignori la pagina. Questo può portare all'apparizione del pop-up e a un numero ridotto di idee di ottimizzazione per quella determinata landing page.

Per risolvere questo problema, imposta il crawl delay indicato nel file robots.txt a 1 secondo.