Una de les eines per gestionar la indexació de llocs pels motors de cerca és el fitxer robots.txt. S’utilitza principalment per evitar que tots o només alguns robots descarreguin el contingut de determinats grups de pàgines. Això us permet desfer-se de la "brossa" dels resultats del motor de cerca i, en alguns casos, millorar significativament la classificació del recurs. És important disposar del fitxer robots.txt correcte per a una aplicació correcta.
Necessari
editor de text
Instruccions
Pas 1
Feu una llista de robots per als quals s’establiran regles d’exclusió especials o s’utilitzaran directrius de l’estàndard robots.txt ampliat, així com directives específiques i no estàndards (extensions d’un motor de cerca específic). Introduïu en aquesta llista els valors dels camps User-Agent de les capçaleres de sol·licitud HTTP enviades pels robots seleccionats al servidor del lloc. Els noms dels robots també es poden trobar a les seccions de referència dels llocs del motor de cerca.
Pas 2
Seleccioneu els grups d'URL dels recursos del lloc als quals s'hauria de denegar l'accés a cadascun dels robots de la llista compilada al primer pas. Realitzeu la mateixa operació per a la resta de robots (un conjunt indefinit de robots d'indexació). En altres paraules, el resultat hauria de ser diverses llistes que continguin enllaços a seccions del lloc, grups de pàgines o fonts de contingut multimèdia a les quals es prohibeix indexar. Cada llista ha de correspondre a un robot diferent. També hauria d’haver una llista d’URL prohibits per a la resta de robots. Feu llistes basades en la comparació de l’estructura lògica del lloc amb la ubicació física de les dades al servidor, així com agrupant les URL de les pàgines segons les seves característiques funcionals. Per exemple, podeu incloure a les llistes de denegació el contingut de qualsevol catàleg de serveis (agrupats per ubicació) o de totes les pàgines del perfil d'usuari (agrupades per finalitats).
Pas 3
Seleccioneu els signes d'URL de cadascun dels recursos continguts a les llistes compilades al segon pas. Quan processeu llistes d'exclusió per a robots que només fan servir directives estàndard de robots.txt i robots no definits, ressalteu les porcions URL úniques de la longitud màxima. Per a la resta de conjunts d’adreces, podeu crear plantilles d’acord amb les especificacions de motors de cerca específics.
Pas 4
Creeu un fitxer robots.txt. Afegiu-hi grups de directives, cadascuna de les quals correspon a un conjunt de regles de prohibició per a un robot específic, la llista de les quals es va compilar en el primer pas. A aquestes últimes les hauria de seguir un grup de directrius per a la resta de robots. Separeu els grups de regles amb una sola línia en blanc. Cada conjunt de regles ha de començar amb una directiva User-agent que identifiqui el robot, seguida d’una directiva Disallow, que prohibeix indexar grups d’URL. Feu les línies obtingudes al tercer pas amb els valors de les directives No permetre. Separeu les directives i els seus significats amb dos punts. Penseu en el següent exemple: User-agent: YandexDisallow: / temp / data / images / User-agent: * Disallow: / temp / data / Aquest conjunt de directives instrueix el robot principal de la El motor de cerca de Yandex no indexa l'URL que conté la subcadena / temp / data / images /. També impedeix que la resta de robots indexin els URL que contenen / temp / data /.
Pas 5
Complementa robots.txt amb directives estàndard ampliades o directives específiques sobre motors de cerca. Alguns exemples d’aquestes directives són: amfitrió, mapa del lloc, taxa de sol·licituds, temps de visita, retard de rastreig.
