Una delle cose più banali a livello logico è tutt’ora un ostacolo insormontabile per molti.
Ancora oggi nel 2015 capita di vedere post, guide e status di SEO, anche, con un discreto bagaglio di anni di esperienza alle spalle continuare a cadere nello stesso errore logico/concettuale. Lo stesso Google nelle sue linee guida commette questo banale errore.
Ho illustrato la questione durante il mio intervento SEO Per Programmatori al Convegno Nazionale Sul Search Marketing e qui riporto la questione presentata che illustrava l’errore nelle linee guida.
Oltre al fatto che con il robots.txt non si controlla l’indicizzazione (a parte questo caso particolare) dove risiede l’errore nel seguente screenshot delle linee guida di Google relative al robots.txt?
Il link è il seguente: https://support.google.com/webmasters/answer/6062608
Cari SEO, Vi invito nei commenti a scrivere il motivo per cui questo paragrafo è errato.
Se avete seguito il mio intervento al Convegno GT ovviamente la risposta la sapete già quindi condividete semplicemente.
Update e risposta – 07-01-2015
In molti hanno risposto in modo più o meno corretto, ma la risposta più corretta è quella data da Martino Mosna per come era stata posta la domanda in quanto Google esplicita la combinazione.
Ecco quanto avevo evidenziato al Convegno assodando anche che l’errore non è di traduzione, ma presente anche nelle linee guida in Inglese.
Ecco la risposta di Martino.
Credo che tu ti riferisca al fatto che non è vero che col file robots impedisco di far comparire i risultati. I risultati in realtà compaiono, ma Google avvisa che sono bloccati.
Erro?
La direttiva disallow nel file robots.txt comunica agli spider di non scansionare la risorsa in oggetto in base al protocollo http. Di conseguenza il principale errore consiste nell’associare il file robots all’indicizzazione da parte dei motori di ricerca la quale può avvenire comunque al di là di un eventuale direttiva disallow, in quanto la risorsa può essere associata in altro modo a dei termini come l’anchor text di un backlink.
Aggiunta la risposta nel post.