Robots.txt y el Contenido Duplicado

Hoy vamos a hablar del contenido interno duplicado y cómo controlarlo en parte con el archivo Robots.txt

El contenido interno duplicado se produce cuando una página o artículo de un blog, aparecen en internet bajo varias url´s diferentes, pero que muestran lo mismo.

Podría ocurrir que alguien haya copiado nuestros posts sin haber puesto un backlink adecuado hacia nuestro sitio. Pero eso no es lo que más nos afecta en este caso. Nos vamos a centrar en el contenido duplicado interno.

En Google webmasters podremos investigar los errores que arroja nuestro sitio web, las url que están dando problemas.. así sabremos dónde atacar.

Hay algunos plugins de WordPress para convertir nuestra web en una versión móvil, que pueden provocar que nuestras url´s se reproduzcan desagradablemente, creando contenido duplicado.

¿El contenido duplicado .. tiene Solución?

De nuevo vamos a ver qué podemos hacer con el archivo robots.txt

El archivo robots.txt nos facilitará la exclusión de cierto tipo de url´s, es decir..

Con el robots.txt, le diremos a Google qué paginas o posts puede indexar, y cuáles no

Podemos utilizarlo para bloquear una página web concreta, o un tipo de archivos concretos

También es interesante bloquear ciertos directorios de nuestra web. Por ejemplo, podemos bloquear el directorio de plugins, o un directorio de imágenes privadas…

Por supuesto en Google Webmasters nos animan a utilizar este archivo. Iremos a la pestaña Salud, la desplegamos y clickamos sobre URL Bloqueadas

Cuando accedamos a Google Webmasters, veremos el archivo robots.txt por defecto, que pinta tal que así:

User-agent: *

Disallow:

User-Agent: Define el robot, o los robots a los que se aplicarán las reglas que posteriormente creemos.

Disallow: Aquí se pone la URL que queremos bloquear.

Para evitar que los robots de Google accedan a ese contenido duplicado, usaremos Disallow.

Para ilustrarnos adecuadamente, vamos a ver el primer ejemplo. Tenemos un problema, creado por uno de los plugins de conversión móvil. Este plugin resulta que ha creado varias copias de nuestras url´s, acabando todas de esta forma:

DOMINIO/nivel1/?wpmp_switcher=mobile

Pues esto lo solucionaremos con robots.txt

Hemos de decirle a las arañas de Google que no accedan a esas url. Ahora bien, hemos de conocer también 2 parámetros del robots.txt muy útiles:

* Se utiliza para especificar la concordancia con un conjunto de carácteres. $ Indica que la url acaba con los carácteres que pongamos (concordancia con el final de la url)

Por ejemplo:

User-agent: *

Disallow: /*.xls$

Bloqueará todas las url que acaban con .xls

Esta línea bloqueará concrétamente el acceso a las url que estén construidas: nombre de dominio, seguido de cadena de carácteres, y que acaba con .xlsÂ

Así que para solucionar nuestro problema con las url que mostrábamos al principio del post, lo haremos de esta manera:

Disallow: /*?wpmp_switcher=mobile$

De esta forma bloquearemos todas las url que acaben con ?wpmp_switcher=mobile

Otro ejemplos:

- Queremos bloquear el directorio ‘pruebas’

Disallow: /pruebas/

- Para bloquear una página concreta :

Disallow: /nombre_archivo.php

Como podéis ver, el archivo robots.txt puede ayudarnos a controlar esas url´s rebeldes que no dejan de atormentarnos, y el contenido duplicado que generan.

Para más info podéis consultar la ayuda de Google Webmasters para el archivo robots.txt