Con la etiqueta meta robots puedes controlar cómo rastrean y leen tu página los diferentes motores de búsqueda. Si el nombre te recuerda a otro archivo de tu página, quédate y continúa leyendo.
¿Qué es meta robots?
La meta robots es una meta etiqueta HTML con la que damos instrucciones a los bots de los buscadores en cuanto al rastreo e indexación de las páginas de nuestro sitio web.
Estas meta etiquetas se emplean para decirle a los bots o arañas que indexen o no una página o para que sigan o no los enlaces hacia otras páginas.
No hay que confundir el archivo robots.txt con las meta robots. El archivo da instrucciones a los bots que afectan a toda la página web, mientras que las meta robots solo afectan a la página concreta donde las pongamos.
¿Para qué sirven las meta robots?
Las meta robots sirven para dar instrucciones a los bots. Esta etiqueta se añade a una página específica y actúa como una capa de protección al archivo robots.txt.
Cuando un bot o araña de los motores de búsqueda llega a una de tus páginas a través de un enlace externo, puede rastrearla e indexarla. Esto sucede porque no ha visto tu archivo robots.txt, ya que ha llegado a través de un enlace externo.
Si a esa página en concreto le introducimos la meta etiqueta robots en el head, evitará que suceda ese rastreo y posterior indexación.
¿Dónde se colocan las meta etiquetas robots?
Las meta etiquetas robots deben colocarse en el código HTML de la página dentro de la sección <head>. Para que funcionen correctamente, la etiqueta debe llevar unos atributos. En el caso de la meta robots, deberá incluir el atributo name y content para que funcione perfectamente.
Además, no hay que olvidarse de cerrar la etiqueta al final de los atributos con />. De lo contrario no servirá para nada la orden.
Ejemplo:
<!DOCTYPE html>
<html>
<head>
…
<title>…</title>
<meta name=»robots» content=»noindex» />
…
</head>
<body>
…
</body>
</html>
El atributo name sirve para especificar el nombre del agente de usuario del bot. Para incluir todos los bots simplemente hay que escribir: name=“robots”.
Directivas del atributo content
Para dar las diferentes instrucciones a los bots, debemos de emplear una serie de directivas en el atributo content.
- index / no index. Para indicar a los bots de los motores de búsqueda, si queremos indexar nuestra página y que aparezca en la página de resultados. Poner index puede parecer inútil a primera vista, pero puede ser de gran utilidad si solo queremos que indexe esa página, un determinado motor de búsqueda. Si no queremos que aparezca indexada la página, nos bastará con poner no index.
- follow / no follow. Sirve para indicar a la araña si debe seguir y rastrear los enlaces que contiene la página. Con el follow los seguirá y con el no follow no.
- archive / noarchive. Indicamos si queremos que se almacene el contenido de la web en la caché interna del buscador.
- snippet / nosnippet. Le decimos al buscador que no muestre un fragmento de la página en los resultados de la búsqueda.
- none. Se trata de un atajo para indicar que no indexe y no siga la página, es decir, para especificar un no index y no follow.
- noimageindex. Para no indexar las imágenes de una página.
Diferencia entre robots.txt y meta robots
El robots.txt es un archivo de texto en el que se indican unas órdenes o instrucciones a los bots que afectan a todo el sitio web. En cambio, las meta robots son etiquetas que se aplican solo a la página que las contiene.
Desde el punto de vista SEO, la utilización del archivo robots.txt y las meta etiquetas ayudan a la optimización de la página web. Cuando los bots acceden a una página la rastrean y posteriormente la indexan o no.
Si mediante el archivo y las meta etiquetas les damos una serie de instrucciones, ahorraremos tiempo de rastreo a la araña, optimizando el crawl rate y haciendo que rastree el contenido verdaderamente importante.