La majoria dels bloggers experimentats segur que saben què és robots.txt i per què necessiteu aquest fitxer. Però pocs autors s’afanyen immediatament a crear un fitxer robots.txt després d’instal·lar un bloc a WordPress.
Robots.txt és un fitxer de text que es penja al directori arrel del vostre lloc i conté instruccions per als rastrejadors. L’objectiu principal del seu ús és prohibir la indexació de pàgines i seccions individuals del lloc. Tanmateix, mitjançant robots.txt, també podeu especificar la rèplica de domini correcta, prescriure el camí al mapa del lloc i similars.
La majoria dels motors de cerca moderns han après a navegar bé pel popular CMS i, generalment, no intenten indexar contingut que no estigui destinat a això. Per exemple, Google no indexarà l'àrea d'administració del vostre bloc de WordPress encara que no ho especifiqueu directament a robots.txt. No obstant això, en alguns casos, l’ús de prohibicions directes encara pot ser útil. I parlem principalment de la prohibició de duplicar contingut.
Alguns administradors web arriben a prohibir la indexació de pàgines de categories i etiquetes, ja que el seu contingut duplica parcialment el contingut de la pàgina principal. Però la majoria es limiten a la prohibició de les pàgines de rastreig i de feed, que dupliquen completament el contingut de l’article i no estan pensades en absolut per als motors de cerca. Aquesta precaució no només farà que els resultats del lloc siguin "més nets", sinó que també us estalviarà de possibles filtres de cerca, especialment després de la introducció del nou algorisme de Google Panda.
Aquí teniu les directrius recomanades per a un fitxer robots.txt (funcionarà per a gairebé qualsevol bloc de WordPress):
User-Agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Tingueu en compte que a robots.txt les carpetes administratives wp-admin i wp-includes estan completament tancades per indexar-les. La carpeta wp-content només està parcialment tancada, ja que conté el directori de càrregues, que conté totes les imatges del vostre bloc que haurien d’estar indexades.
Tot el que heu de fer és copiar les directives del codi anterior (tingueu en compte que cada directiva s’ha d’escriure en una nova línia), desar-les en un fitxer de text anomenat robots.txt i penjar-les al directori arrel del vostre lloc.
Sempre podeu comprovar si robots.txt funciona correctament mitjançant les interfícies Google Webmaster Tools i Yandex Webmaster.
