En el posicionamiento de una página web es muy importante controlar las urls que se indexan y las que no. Pero, ¿qué pasa si Google indexa una URL que no queremos que aparezca en los resultados? A continuación, vamos a ver varias formas sobre como desindexar una URL de Google

Motivos por los que desindexar una URL de Google

En muchas ocasiones Google ha indexado en los resultados de búsqueda alguna URL de nuestra página web que no queríamos que apareciese en el índice del buscador. 

Existen varios motivos por los que deberíamos desindexar una URL:

Como desindexar una URL de Google de varias formas

Desindexar url del índice de Google

Para desindexar una URL de Google existen varias formas, algunas más fáciles y sencillas que otras.

Etiqueta meta robots noindex en la URL

Para desindexar una determinada URL puedes introducir en el código HTML la meta etiqueta meta robots con el valor noindex. De esta manera le indicamos a los bots de Google que rastrean nuestra web que no queremos indexar esa URL. 

Esta indicación es de tipo directiva, lo que significa que Google debería eliminarla de los resultados de su buscador. Si todavía no la ha incorporado, con la meta etiqueta robots, no debería incluirla en su índice.

Además, esta directiva también puede ser implementada a través de la cabecera HTTP. 

Aunque esta etiqueta es una muy buena forma de evitar la indexación de páginas, hay que tener en cuenta varias cuestiones:

Utilizando Google Search Console para desindexar URL

Como retirar urls en Google Search Console

En la herramienta de Search Console de Google existe un apartado donde poder retirar las urls de su índice. Esta es una de las formas más efectivas para hacerlo.

Para ello, debemos meternos en Search Console y en la propiedad donde queremos eliminar la URL. En la parte de la izquierda aparece una pestaña en la que poner: retirada de urls.

Cuando le das ahí, aparece una ventana en la que puedes hacer clic en nueva solicitud y solicitar a Google que te retire una determinada URL o varias con un prefijo determinado. 

Una vez enviamos nuestra solicitud y Google la aprueba, la retirada de URL dura aproximadamente unos seis meses. Es importante saber que esta desindexación es temporal y que si Google rastrea tu página y tiene señales que permiten rastrear la URL, la puede volver a indexar. 

Lo recomendable es enviar la solicitud y utilizar un no index en el código HTML de la página en cuestión. 

Con código de respuesta 404

Un código de respuesta 404 durante mucho tiempo puede provocar, a la larga, la desindexación de una URL. 

Este código de respuesta devuelve al usuario un código de error 404 y de esta manera le decimos a Google que esa página ya no existe

Con código de respuesta 410

El código de respuesta 410 es similar al anterior, pero resulta más efectivo que el 404. Con este último le informamos a Google que la página no existe y que hay un error, pero puede ser que más tarde la página vuelva a existir cuando solucionemos el problema.

En cambio, con un código 410 le informamos a Google de que la URL se ha ido de manera definitiva y no va a volver a existir. 

Disallow en el archivo robots.txt

Podemos emplear el archivo robots.txt como medida preventiva para la indexación de futuras URL, pero no para eliminar una página del índice de Google. 

En el archivo robots.txt indicamos a Google a qué páginas puede acceder y a cuáles no mediante un disallow. De esta manera, le decimos al bot de Google específicamente a qué carpetas, rutas, tipos de archivo, etc. no puede acceder y, por tanto, no lo indexará.

Bloquear la URL mediante contraseña

Cuando bloqueas una URL mediante una contraseña, Google al rastrear tu página web no podrá entrar en dicha URL y al no leer el contenido, entenderá que no es indexable. 

Sin embargo, bloquear una dirección web mediante el archivo robots.txt no te garantiza que Google no la indexe. Esto del bloqueo mediante contraseña y a través de robots, hace que los bots de Google al rastrear la página no puedan leer lo que hay en la URL bloqueada y, por ese motivo, no la muestran en los resultados de búsqueda.

El problema está cuando esa URL que tenemos bloqueada recibe backlinks, es decir, está enlazada desde un dominio externo. Esto provoca que Google, al seguir el enlace, vea que hay una URL y aunque no sabe lo que hay dentro, la indexará porque la ha descubierto. 

Desindexar utilizando el Sitemap

Los anteriores métodos, salvo el de Search Console, nos ayudan a retirar urls concretas y de manera individual. Pero, ¿qué pasa cuando queremos eliminar varias urls y es muy tedioso hacerlo una a una?

Existe un recurso que te puede ayudar y simplificar esa tarea: el Sitemap. Una vez que has añadido la meta etiqueta noindex o los códigos 404 o 410, puedes crear un Sitemap en el cual solo aparezcan las urls que quieres desindexar.

Para ello, deberás subir ese mapa del sitio a la raíz y enviarlo a Google a través de Search Console para que lo revise. De esta forma, hacemos que Google rastree ese conjunto de urls dándole prioridad. Al rastrearlas, verá que no son indexables y acelerará el proceso para eliminarla de su índice.