Esistono tantissimi esempi di file robots.txt che si autodefiniscono "ottimizzati" per WordPress: al tempo stesso molti di essi non lo sono affatto, in quanto pur bloccando correttamente i contenuti che non è opportuno indicizzare non prevedono la possibilità di accedere a questi file alle varie istanze di Googlebot che visitano periodicamente il nostro sito per vari motivi, tra cui: analisi della compatibilità con browser per dispositivi mobili, servizio PageSpeed Insights, analisi dei tag e/o dei dati strutturati, e altro ancora. Il risultato è che, molto spesso, questi bot sono privi dei file CSS e JS necessari per convalidare correttamente il nostro sito web, fornendoci dunque informazioni errate.
Qui si può visualizzare una lista completa (aggiornata a Ottobre 2016) in cui sono elencati tutti gli user-agent relativi ai Googlebot, compresi quelli più recenti. La prima cosa da fare è assicurarvi che il file robots.txt che utilizzate attualmente non stia bloccando nessuno di questi. Potete effettuare il test direttamente sulle URL del vostro sito utilizzando gratuitamente i seguenti strumenti:
- Mobile-Friendly Test: https://www.google.com/webmasters/tools/mobile-friendly/
- PageSpeed Insights: https://developers.google.com/speed/pagespeed/insights/
- Fetch as Google (richiede una proprietà registrata all'interno del Google Search Console): https://support.google.com/webmasters/answer/6066468?hl=en
Nel caso in cui non siate soddisfatti dei risultati, vi consiglio di utilizzare un robots.txt simile a questo:
Per il momento è tutto: felice SEO!
