Cuando creamos una página web, es lógico querer aparecen en las búsquedas de Google. Para ello, las arañas o bots del buscador deben encontrar tu página, rastrear el contenido que hay en ella para indexarla o no. Por este motivo es importante tener un archivo robots.txt en WordPress.
Lo más normal es que tu web tenga partes innecesarias en las que no quieres que el bot pierda el tiempo rastreándolas. Para agilizar y facilitar el trabajo de los bots o arañas de los buscadores, existe el archivo robots.txt. En él podrás marcar páginas para que no sean indexadas o seguidas por el bot.
De esta manera, la araña o bot llegará y rastreará las partes que realmente nos importan, aunque no es un mecanismo para impedir que una página web aparezca en Google.
El robots.txt en WordPress puede generarse de varias formas dependiendo de si utilizamos plugins o no y según los tipos de plugins que utilicemos.
¿Qué es el archivo robots.txt?
El archivo robots.txt es un archivo de texto que indica a los bots o arañas de los buscadores las partes del sitio web que pueden rastrear y las que no. Los bots más conocidos son los de Google, ya que es el buscador por excelencia.
Cualquier buscador, ya sea Google, Bing, Yahoo! o Yandex, teóricamente lo primero que hace al encontrar tu página es ver si tiene un archivo robots.txt. Si lo tienes, tomará unas decisiones u otras según lo que hayamos marcado. Si tu página no tiene un robots.txt creado, el rastreador accederá sin seguir ninguna orden y esto puede ser perjudicial en páginas grandes con mucho contenido.
No es obligatorio generar un archivo robots.txt, pero es recomendable porque ayuda al posicionamiento de la web. Las páginas más pequeñas, con un número bajo de URL y contenido, no necesitarán poner demasiadas órdenes o pueden llegar a prescindir de este archivo.
En cambio, una web más grande es recomendable que tenga un archivo robots.txt, ya que facilitará a los bots el rastreo y no sobrecargaran la página de solicitudes. Sin el archivo robots.txt muchas arañas tendrán acceso a tu sitio y esto puede afectar de manera negativa a la página disminuyendo la velocidad de la misma haciendo que sea una página web más lenta. Y eso no queremos que suceda.
También hay que tener en cuenta que en muchas ocasiones los bots o arañas de Google no siguen al cien por cien las directivas marcadas. Además, el mismo Google indica que el archivo robots.txt no impide que se indexe una página web y que la información escrita en el archivo son instrucciones y no reglas.
¿Para qué sirve el robots.txt?
El robots.txt sirve para muchas más cosas que solo bloquear el acceso a ciertas partes de nuestra web. Principalmente, el archivo sirve para que nuestro sitio web no se sobrecargue cuando reciba las solicitudes de rastreo de los bots o arañas de los buscadores.
Si nuestro sitio se sobrecarga de peticiones de rastreo, lo convertirá en una página lenta y ningún usuario quiere entrar en una página web que tarda en cargarse, por lo que podría ser perjudicial para nuestro negocio.
Por otro lado, el robots.txt también nos sirve para indicar el Sitemap de nuestro sitio web. De esta manera le facilitamos el trabajo a la araña o bot diciéndole por donde tiene que ir rastreando nuestra web.
El archivo robots.txt también nos permite bloquear el acceso de los bots a ciertas partes que queremos mantener ocultas o ciertas zonas que no queremos que se indexen como la política de cookies, política de privacidad, aviso legal, el Wp-admin de WordPress, etc.
Además, el archivo robots.txt también nos sirve para bloquear ciertos bots que no sirven de nada que rastreen nuestra página. Por ejemplo, podemos decir en el archivo que solo permita el acceso a los bots de Google e impida los del resto de buscadores.
¿Cómo crear un archivo robots.txt en WordPress?
WordPress permite generar el archivo robots.txt de forma muy sencilla. Pero antes de hacerlo, primero habrá que comprobar si la página web lo tiene ya o no.
Para verificar si una web tiene el archivo de robots.txt, bastará con poner detrás del dominio/robots.txt.
Ejemplo: https://dominio.com/robots.txt
Editar archivo robots.txt en WordPress con Yoast SEO
WordPress genera de manera automática un archivo de robots.txt que puede ser modificado según las directivas que quieras establecer.
En el archivo que genera WordPress solo aparece:
- User-agent: *: indica que todos los bots de los diferentes buscadores pueden rastrear tu web.
- Disallow: /wp-admin/: El disallow bloquea el acceso al administrador de WordPress para que las arañas no pierdan tiempo en eso.
- Allow: /wp-admin/admin-ajax.php: Permite que rastreen el admin-ajax.php.
Para editar el anterior archivo de WordPress, lo podemos hacer mediante el plugin Yoast Seo. En el administrador de WordPress, accede a Yoast SEO > Herramientas > Editor de archivos > Crear archivo robots.txt. Al presionar el botón de crear, aparecerá el archivo que tenemos creado y podremos editarlo, darle nuestras directivas y añadir el Sitemap.
Robots.txt con el bloc de notas
Otra forma de editar el robots.txt es a través de la creación de un archivo de texto con el bloc de notas.
Creamos un bloc de notas y le ponemos el nombre de robots.txt. Importante ponerlo en minúsculas para posteriormente subirlo a la raíz del tema. En el archivo de bloc de notas pondremos los disallow o allow y las diferentes órdenes para los bots.
Podemos subir este bloc de notas por FTP o directamente por la plantilla.
Hay que tener cuidado con qué se prohíbe y con qué no. También es necesario conocer todas las pautas como asteriscos, no usar mayúsculas, etc. Un mal uso de este archivo puede causar un problema en el posicionamiento.