File robots.txt ottimizzato per WordPress compatibile con gli ultimi Googlebot

Yet another optimized robots.txt file for Wordpress (including all the latest Googlebots)

Esistono tantissimi esempi di file robots.txt che si autodefiniscono “ottimizzati” per WordPress: al tempo stesso molti di essi non lo sono affatto, in quanto pur bloccando correttamente i contenuti che non è opportuno indicizzare non prevedono la possibilità di accedere a questi file alle varie istanze di Googlebot che visitano periodicamente il nostro sito per vari motivi, tra cui: analisi della compatibilità con browser per dispositivi mobili, servizio PageSpeed Insights, analisi dei tag e/o dei dati strutturati, e altro ancora. Il risultato è che, molto spesso, questi bot sono privi dei file CSS e JS necessari per convalidare correttamente il nostro sito web, fornendoci dunque informazioni errate.

Qui si può visualizzare una lista completa (aggiornata a Ottobre 2016) in cui sono elencati tutti gli user-agent relativi ai Googlebot, compresi quelli più recenti. La prima cosa da fare è assicurarvi che il file robots.txt che utilizzate attualmente non stia bloccando nessuno di questi. Potete effettuare il test direttamente sulle URL del vostro sito utilizzando gratuitamente i seguenti strumenti:

Nel caso in cui non siate soddisfatti dei risultati, vi consiglio di utilizzare un robots.txt simile a questo:

IMPORTANTE: Assicuratevi di rimpiazzare YOUR_SITEMAP_URL con la URL della sitemap del vostro sito: se utilizzate WordPress con il plugin Jetpack installato, dovrebbe essere qualcosa di simile a www.yoursite.com/sitemap.xml.

Per il momento è tutto: felice SEO!

 

RELATED POSTS

About Ryan

IT Project Manager, Web Interface Architect e Lead Developer di numerosi siti e servizi web ad alto traffico in Italia e in Europa. Dal 2010 si occupa anche della progettazione di App e giochi per dispositivi Android, iOS e Mobile Phone per conto di numerose società italiane. Microsoft MVP for Development Technologies dal 2018.

View all posts by Ryan