Skip to main content

File robots.txt ottimizzato per WordPress compatibile con gli ultimi Googlebot

Esistono tantissimi esempi di file robots.txt che si autodefiniscono “ottimizzati” per WordPress: al tempo stesso molti di essi non lo sono affatto, in quanto pur bloccando correttamente i contenuti che non è opportuno indicizzare non prevedono la possibilità di accedere a questi file alle varie istanze di Googlebot che visitano periodicamente il nostro sito per vari motivi, tra cui: analisi della compatibilità con browser per dispositivi mobili, servizio PageSpeed Insights, analisi dei tag e/o dei dati strutturati, e altro ancora. Il risultato è che, molto spesso, questi bot sono privi dei file CSS e JS necessari per convalidare correttamente il nostro sito web, fornendoci dunque informazioni errate.

Qui si può visualizzare una lista completa (aggiornata a Ottobre 2016) in cui sono elencati tutti gli user-agent relativi ai Googlebot, compresi quelli più recenti. La prima cosa da fare è assicurarvi che il file robots.txt che utilizzate attualmente non stia bloccando nessuno di questi. Potete effettuare il test direttamente sulle URL del vostro sito utilizzando gratuitamente i seguenti strumenti:

Nel caso in cui non siate soddisfatti dei risultati, vi consiglio di utilizzare un robots.txt simile a questo:

IMPORTANTE: Assicuratevi di rimpiazzare YOUR_SITEMAP_URL con la URL della sitemap del vostro sito: se utilizzate WordPress con il plugin Jetpack installato, dovrebbe essere qualcosa di simile a www.yoursite.com/sitemap.xml.

Per il momento è tutto: felice SEO!

 

RELATED POSTS
 

Ryan

IT Project Manager, Web Interface Architect e Lead Developer di numerosi siti e servizi web ad alto traffico in Italia e in Europa. Dal 2010 si occupa anche della progettazione di App e giochi per dispositivi Android, iOS e Mobile Phone per conto di numerose società italiane.

Leggi articolo precedente:
Scansione fronte-retro di un documento in un singolo PDF con PDFsam

Oggi, nel tentativo di uscire dall'ufficio a un'ora decente, ho deciso di portarmi  casa un pò di lavoro arretrato. Tra...

Chiudi