Questa era una domanda posta da un mio ex allievo di uno dei master che ho seguito come docente.
Dalla fan page di blographik su facebook mi arrivano parecchie domande del genere, e visto che su blographik c’è un buon numero di fan, ho pensato di girare a te che stai leggendo ora questo articolo, la domanda di questa settimana.
Di seguito tutti i dettagli.
SEO: hai mai pensato di modificare il file robots.txt del tuo blog?
Ecco il nuovo appuntamento settimanale con questa rubrica dedicata alla discussione aperta, dove i commenti hanno più valore dello stesso post.
Sai cos’è il robots.txt e a cosa potrebbe servirti modificandolo?
La guida di google per webmaster offre alcune delucidazioni su questo file.
Per evitare potenziali penalizzazioni di google per contenuto duplicato, potresti segnalare, di non far seguire allo spider alcune aree non importanti, come:
- la pagina di login,
- la pagina archivio del tuo blog,
- i commenti,
- le tag,
- e molte altre opzioni.
Ecco cosa mi chiedeva il mio amico e collega, (ormai non è più un ex-allievo) su come impostare il robots.txt.
il nostro sito è quasi pronto e sto creando il robots.txt.
Ti incollo qui cosa ci ho messo e mi dici se va bene o se mi consigli di aggiungere altro.
Ad esempio la tag cloud, l’abbiamo messa testuale, tu mi consigli di mettere disallow ai tag?O di lasciare il doFollow usando comunque pochi e significativi tag?
Comunque il nostro robots è questo (ispirato anche alla maggior parte dei blog):
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */commentse la sitemap alla fine, giusto?
Mi consigli di mettere “disallow” ai tag, alle categorie e alla search interna al sito?
Ti invito a parteciapare nei commenti qui sotto:
cosa hai aggiunto e perchè al robots-txt del tuo blog?
Se ne esce fuori una bella discussione, magari ne creo un piccolo ebook (che offrirò soltanto alla mia lista di iscritti alla newsletter).
A te la palla.