Ottimizzare il file robots.txt per Wordpress, Joomla, Drupal & Co.

Cercando su Google informazioni su robots.txt e Wordpress quello che troviamo è qualcosa di imbarazzante. Lo avevo** già espresso qui**, ma ora voglio ampliare la cosa e riprendere un mio commento al post che attualmente viene definito da Google come la risposta a questa richiesta di aiuto.

Ovviamente Google sta dando una risposta errata.

Di seguito gli articoli che secondo Google sono validi.

Articoli ricchi di parole, link addirittura a Wikipedia con esempi pratici di implementazioni da copia/incolla che li rendono appetibili, ma non per questo validi.
Sarebbe molto più utile, corretto e reale un bel post che includa solamente

User-agent: *
Disallow:

Ma ovviamente nessuno (utente o motore) lo considererebbe valido, utile o migliore di altri.

1. [Primo articolo errato] Ottimizzare il file robots.txt per WordPress

a cui ho risposto nei commenti come segue. Estraggo solo la parte utile che smonta la tesi:

Il robots.txt a parte un caso non documentato che trovi descritto qui con un esperimento https://bit.ly/1edhz6i non è rivolto in nessun modo al processo di indicizzazione, ma semplicemente gestisce l'accesso dello spider alle nostre risorse.

Proprio perché come hai detto nel commento ogni sito è diverso dare una soluzione preconfezionata è errato e di conseguenza lo è anche quell per Wordpress perché spesso la maggior parte delle risorse vengono disperse a causa di una errata ottimizzazione del frontend.

Utilizzare il robots per bloccare feed, trackback, pingback, commenti è una delle cose più scorrette in assoluto perché queste cose andrebbero gestite a livello di template (evitando di generare certe situazioni) oppure a livello server side evitando di generarle.

Altro errore grave è inibire l'accesso alle cartelle wp-content che quasi sempre contengono CSS, JS e altre cose funzionali al tema utilizzato. Spesso alcuni plugin o temi utilizzano JS presenti in wp-includes e da qui un altro errore che si andrebbe a commettere utilizzando un robots.txt tipo quello consigliato.

Consigliar poi di bloccare categorie o tag è un discorso che eviterei totalmente in quanto il consiglio dovrebbe essere:

"gestite 'sti benedetti tag e 'ste benedette categorie con cognizione di causa" il robots.txt non serve a risolvere problemi causati dal caos che le persone hanno nella testa.

Stesso vale per il meta noindex che ovviamente non va usato in combinazione con il disallow del robots, pena vanificarne l'efficacia. Se lo vuoi noindex allora non ci deve essere traccia delle sezioni nella normale navigazione anche per gli utenti.

Detto questo vorrei capire su che base nasce questo robots.txt consigliato se poi non si mostrano i reali benefici che questo porta a livello di crawling e comportamento sulla base dei log del server.
https://plus.google.com/u/0/wm/1/+AnnaritaFaggioni/posts/Phyn9q8TWQL

2. [Secondo articolo errato] Creare un file Robots.txt ottimizzato per WordPress (nessuno ha commentato spiegando che sta sbagliando)
3. [Terzo articolo errato] Creare un robots.txt per WordPress ottimizzato per i Motori di Ricerca

Giacomo Pelagatti ha risposto spiegando anche lui che alcuni consigli sono errati. Vi incollo la sua risposta più corposa e potete leggere il resto dei commenti nel post:

Il file robots.txt è uno strumento che -come tutti- andrebbe utilizzato quando non esistono alternative migliori dal punto di vista SEO, o quando le alternative non sono praticabili a causa di limitazioni tecniche. In realtà esistono una serie di strumenti che in alcuni casi è consigliabile usare in sostituzione del “Disallow” nel file robots.txt.Personalmente non sono d’accordo con chi indica di escludere via file robots.txt le pagine archivio di un blog (es., categorie e tag) al fine di prevenire problemi di duplicazione. Impedendo ai crawler di scaricare tali pagine si blocca infatti anche la distribuzione del “link juice” (=PageRank+anchor text) alle pagine dei post attraverso i link (interni o esterni al sito) che puntano alle pagine dei tag o delle categorie: l’uso dei Disallow nel robots.txt, che si può benissimo utilizzare per altri fini, o come workaround o in casi d’emergenza, risulta perciò in questo caso una soluzione sub-ottimale.Se lo scopo è quello di prevenire l’indicizzazione di pagine con contenuti sostanzialmente duplicati rispetto alle pagine dei post, esistono almeno due alternative preferibili al Disallow: una prima soluzione, estremamente semplice da adottare ed efficace nella maggior parte dei casi, è quella di visualizzare sulle pagine archivio soltanto un estratto dei post, e non il loro contenuto integrale; una seconda soluzione (che avevo già suggerito in questo commento) è quella di usare un meta tag robots “NOINDEX,FOLLOW” (“FOLLOW” in realtà è implicito, e perciò può essere omesso): ugualmente efficace ai fini preventivi, ma più efficiente dal punto di vista SEO. Usando il NOINDEX si raggiunge infatti lo scopo (impedire l’indicizzazione delle pagine archivio) e contemporaneamente si lascia fluire liberamente il link juice attraverso il sito e arrivare a destinazione, ottenendo una miglior distribuzione di PageRank e tematizzazione sulle pagine dei post e nel sito nel suo complesso.Se la differenza tra usare l’uno o l’altro metodo può essere trascurabile per blog di piccole dimensioni, su siti con un alto numero di post, categorie o tag (e quindi un alto numero di link verso le pagine archivio), l’introduzione del Disallow potrebbe produrre più danni che altro, specialmente se il rischio duplicazione è più immaginario che reale. Per questo motivo, chi suggerisce di utilizzare il file robots.txt come fosse il migliore (o l’unico) strumento per prevenire problemi di duplicazione, senza nemmeno menzionare l’esistenza di alternative preferibili, dà un’indicazione errata dal punto di vista SEO (se per “SEO” intendiamo “ottimizzazione”, e non solo prevenzione o risoluzione di criticità).

Che dire. In fin dei conti la risposta corretta in quelle pagine c'è, ma in quanti leggeranno i commenti?
Spesso l'utente cerca una soluzione immediata da copia/incolla e per la SEO questo è un male.

Di seguito invece alcune discussioni qui sul forum:

1. Configurazione corretta dei file robots.txt e htaccess con wordpress
2. Help!!! File Robot.txt blocca l'indicizzazione del sito...
3. robots-txt.
4. Aiuto ! File robots.txt per sito con wordpress (solo pagine no post)
5. La Sitemap contiene URL bloccati da robots.txt

Ovviamente ho preso come esempio Wordpress, ma il concetto di base dietro a questo ragionamento è lo stesso per ogni CMS e ogni sito, che sia esso Drupal, Joomla, Wordpress.

Così come c'è un gran caos nella community SEO nel comprendere la differenza tra follow e nofollow, indicizzazione e posizionamento, come funzioni il motore nei confronti di un robots.txt c'è anche gran confusione nel comprendere le basi, l'ABC. Credo sia utile ogni tanto riproporre le basi di questo mestiere spesso dimenticate a vantaggio di cose che in casi complessi diventano completamente inutili, fuorvianti e pericolose.

Spero che questo contributo possa essere utile a qualcuno e che almeno metta sulla retta via le persone traviate da post completamente errati.