Optimizar Robots.txt Wordpress 2014
SEO, Wordpress

Optimizar Robots.txt WordPress 2014

23 mayo, 2014

Ya llevaba tiempo sin escribir sobre SEO o WordPress y en este artículo Optimizar Robots.txt WordPress 2014 juntaré las dos cosas.

El Robots.txt es un archivo al cual mucha gente no le da demasiada importancia y que incluso muchos propietarios de blogs WordPress dejan en blanco, y esto es un error ya que tiene un papel significativamente importante para ayudar a mejorar nuestro posicionamiento en buscadores.

Su principal función es bloquear las partes de nuestro blog que no queremos que los conocidos como robots de búsqueda indexen. Nos ayudará a prevenir que se indexen páginas irrelevantes o poco optimizadas que no sólo no ayudarán a nuestro posicionamiento sino que pueden empeorarlo.

El SEO se ve condicionado por cientos de factores y una parte esencial del SEO es el archivo Robots.txt. Un pequeño archivo escrito en texto plano que se coloca en la raíz de la web y que ayuda a la optimización de cualquier web. No hay que tener miedo a editar el Robots.txt, no es tan complicado como parece y en este artículo os enseñaré a dejarlo “niquelao”.

¿Qué es el Robots.txt y como deberías usarlo en WordPress?

El archivo Robots.txt ayuda a los bots de los motores de búsqueda a rastrear diciéndoles lo que deben rastrear y lo que no. Cuando un spider llega tu web con ganas de indexar contenido, lo primero que hace es buscar el archivo Robots.txt y seguir sus instrucciones.

Si eres de los que usan WordPress (supongo que sí, sino no estarías leyendo este tostón), encontrarás tu robots.txt en la raíz de la instalación de WordPress. Para otro tipos de webs creadas “a mano” el archivo estará justo bajo la carpeta raíz. Si tu web no lo tiene, simplemente, créalo con el Bloc de Notas y renómbrando el archivo a robots.txt, a continuación lo subes a la raíz de tu web usando FTP, al igual que cualquier otro archivo. En Tecnojuega podéis verlo en la ruta https://tecnojuega.com/robots.txt

¿Cómo crear un archivo Robots.txt?

Como ya dije arriba, el Robots.txt es un archivo de texto plano. Por tanto, si no lo tienes, no desesperes, simplemente abre el Bloc de Notas o un programa análogo y crea un archivo renombrándolo a robots.txt, después tocará editarlo.

Editando archivo robots.txt

Bien, yo lo primero que hago es incluir una línea que le indica al bot donde está el sitemap de la web, este paso es opcional, pero ya que está en mi archivo lo explico, esta práctica la he podido ver en webs importantes, así que por algo será, y Google lo tiene en cuenta como veremos más adelante. Lo hago de esta forma:

Sitemap: https://www.tecnojuega.com/sitemap.xml

A continuación puedes especificar que tipo de bot quieres que acceda a tu web y si quieres que no tenga acceso a una parte concreta de ella. Vamos a pensar por ejemplo que queremos dar acceso al spider de Google y bloquear la carpeta raíz cgi-bin, quedaría así:

User-agent: Googlebot

Disallow:/ cgi-bin

Con esta configuración el bot de Google tendría acceso a todas las páginas de tu web, salvo la mencionada carpeta cgi-bin. Mediante el uso de Disallow podemos impedir que el spider indexe cualquier página o carpeta. Un modo fantástico para evitar el contenido duplicado. Contenido que podemos comprobar a través de Webmaster Tools.

¿Tengo que aprenderme el nombre de todos los robots de búsqueda?

¡No hombre, no!  Lo lógico es simplemente usar User-agent: * y permitir que todos los robots de búsqueda accedan a tu web, quedaría así:

User-agent: *

Disallow:/ cgi-bin

¿Que NO hacer en el archivo robots.txt?

  • No uses comentarios dentro del archivo.
  • No utilices espacios al inicio de una línea ni entre palabras, ejemplo:

 User-agent: *

Dis allow: /support

Se escribiría de modo correcto así:

User-agent: *

Disallow: /suport

  • No alteres el orden de los comandos. Lo siguiente estaría mal escrito:

Disallow: /support

User-agent: *

Estaría bien escrito del siguiente modo:

User-agent: *

Disallow: /support

  • Si quieres desindexar varias páginas no las escribas todas seguidas como en el siguiente ejemplo:

User-agent: *

Disallow: /support /cgi-bin /images

Habría que escribir una página que queremos desindexar por línea:

User-agent: *

Disallow: /support

Disallow: /cgi-bin

Disallow: /images

  • Utiliza mayúsculas y minúsculas correctamente. El robot de búsqueda es capaz de distinguir entre “Images” e “images”, así que si queremos desindexar “Images” y escribimos “images” en el archivo robots.txt, no funcionará.
  • Si quieres que se indexen todas las páginas de tu web escribe:

User-agent: *

Disallow:

  • Si por el contrario lo que quieres es que se desindexen todas, escribe esto otro:

User-agent: *

Disallow: /

Después de haber editado tu archivo Robots.txt  simplemente súbelo a través de FTP al directorio raíz de tu web.A continuación te dejo la estructura de mi archivo Robots.txt para que puedas echarle un vistazo:

Sitemap: https://www.tecnojuega.com/sitemap.xml

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /recommended/
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /index.php
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins/

User-agent: NinjaBot
Allow: /

User-agent: Mediapartners-Google*
Allow: /

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

Finalmente te aconsejo hacer uso de las Herramientas para Webmasters de Google para ver como han afectado los cambios a tu web. Existe una opción para explorar la web como si fueses un bot de Google, simplemente hay que pulsar sobre la Rastreo – Explorar como Google y acceder a la ruta que queremos comprobar. Esta opción también sirve para indexar los posts más rápidamente tal y como ya expliqué en otro tutorial.

Además, en Rastreo – URL Bloqueadas puedes ver el número de urls bloqueadas y el contenido de nuestro Robots.txt, asimismo también puedes ver la referencia al sitemap que ha sido introducida en la primera línea.

Y esto es todo, espero que este artículo sobre como Optimizar Robots.txt WordPress 2014 te haya servido de ayuda. Si es así habrán merecido la pena estas casi mil líneas escritas, si además me dejas un me gusta, un retweet o un comentario, la alegría ya será completa.

CompartirShare on FacebookShare on Google+Tweet about this on TwitterShare on LinkedIn

Sin Comentarios

Dejar un comentario