Esistono tantissimi esempi di file robots.txt che si autodefiniscono "ottimizzati" per WordPress: al tempo stesso molti di essi non lo sono affatto, in quanto pur bloccando correttamente i contenuti che non è opportuno indicizzare non prevedono la possibilità di accedere a questi file alle varie istanze di Googlebot che visitano periodicamente il nostro sito per vari motivi, tra cui: analisi della compatibilità con browser per dispositivi mobili, servizio PageSpeed Insights, analisi dei tag e/o dei dati strutturati, e altro ancora. Il risultato è che, molto spesso, questi bot sono privi dei file CSS e JS necessari per convalidare correttamente il nostro sito web, fornendoci dunque informazioni errate.
Qui si può visualizzare una lista completa (aggiornata a Ottobre 2016) in cui sono elencati tutti gli user-agent relativi ai Googlebot, compresi quelli più recenti. La prima cosa da fare è assicurarvi che il file robots.txt che utilizzate attualmente non stia bloccando nessuno di questi. Potete effettuare il test direttamente sulle URL del vostro sito utilizzando gratuitamente i seguenti strumenti:
- Mobile-Friendly Test: https://www.google.com/webmasters/tools/mobile-friendly/
- PageSpeed Insights: https://developers.google.com/speed/pagespeed/insights/
- Fetch as Google (richiede una proprietà registrata all'interno del Google Search Console): https://support.google.com/webmasters/answer/6066468?hl=en
Nel caso in cui non siate soddisfatti dei risultati, vi consiglio di utilizzare un robots.txt simile a questo:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 |
User-agent: * Allow: / Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content Disallow: /e/ Disallow: /show-error-* Disallow: /xmlrpc.php Disallow: /trackback/ Disallow: /comment-page- Allow: /wp-content/uploads/ User-agent: Mediapartners-Google Allow: / User-agent: Adsbot-Google Allow: / User-agent: AdsBot-Google-Mobile-Apps Allow: / User-agent: Googlebot Allow: / User-agent: Googlebot-Image Allow: / User-agent: Googlebot-Mobile Allow: / User-agent: Googlebot-News Allow: / User-agent: Googlebot-Video Allow: / Sitemap: http://YOUR_SITEMAP_URL |
Per il momento è tutto: felice SEO!
