Crear Robots.txt para WordPress

Habrán notado que el wordpress no trae consigo el archivo robots.txt, para aquellos que no saben cual es el fin de este archivos se los explicare de de la forma mas sencilla que pueda: El archivo robots.txt indica a los buscadores que archivos y carpetas deben indexar y que no deben indexar, por ejemplo, si en una carpeta o directorio como quieran llamarle tenemos información personal e imagen nuestras que no deseamos que sean vistas por los demás mediante los buscadores, entonces la deshabilitamos.

En el caso de wordpress contamos con dos carpetas que no veo por que los buscadores deban indexarlas ya que cuentan con información del panel de administración, esta son wp-admin y wp-include

Disallow: /wp-admin/
Disallow: /wp-includes/

Algunos blogeros han visto más conveniente deshabilitar cualquier carpeta que empiece con las letras wp- pero a mi criterio esto es un poco extremo por que quizás hayan algunas imágenes que nos gustaria que sean indexadas por el buscador, entonces deberemos añadir la siguiente linea:

User-agent: Googlebot-Image
Allow: /

Wordpres tiene un problema bastante considerable de cara al contenido duplicado, ya que por defecto se indexan todos los feeds y trackbacks. Para evitar ésto hay que añadir unas cuantas líneas al robots.txt, lo cual he notado que muchos blogs tienen en común esto:

Disallow: /?s=
Disallow: /?ref=
Disallow: /feed
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$

Finalizando y antes de olvidarme, no se debe dejar de lado el facilitar la entrada al Sitemap en nuestro blog, entonces añadiremos la siguiente linea:

Sitemap: http://www.tublog.com/sitemap.xml

Eso es todo lo referente al como crear el archivo robots.txt, para aquellos que no le agarraron el hilo aun, les dejo un código guía que podrán utilizar o editar a gusto:

User-agent:*
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/

Disallow: /?s=
Disallow: /?ref=
Disallow: /feed
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$

User-agent: Googlebot-Image
Allow: /

Sitemap: http://www.tublog.com/sitemap.xml
Comparte este tema:
Facebooktwittergoogle_plusmail

7 comentarios sobre “Crear Robots.txt para WordPress

  • el 23 mayo, 2010 a las 12:52 pm
    Permalink

    @machi conca: Lo copias en el directorio root de tu sitio web, es decir, donde se encuentra la pagina principal de tu sitio web.

    ResponderResponder
  • el 23 mayo, 2010 a las 12:52 am
    Permalink

    Para un novato como yo es muy difícil. Necesito saber donde guardar robots.txt. Ya copié el ejemplo que vos das…..y ahora que hago??
    un saludo.

    Machi conca

    ResponderResponder
  • el 22 mayo, 2010 a las 9:52 pm
    Permalink

    @machi conca: El listado de las paginas de tu sitio web, si usas WordPress existen plugins que lo generan de forma automática, como por ejemplo el plugin Google XML Sitemaps Generator.

    ResponderResponder
  • el 22 mayo, 2010 a las 8:54 pm
    Permalink

    Hola: y que hay que poner em el sitemap.xml?
    Gracias de antemano.

    Machi Conca.

    ResponderResponder
  • el 5 octubre, 2008 a las 10:32 am
    Permalink

    Te entiendo, yo también odio el contenido duplicado, sobre todo porque este contenido duplicado también consume ancho de banda que significa costos para nosotros.

    A lo que me refiero es que es muy importante para nosotros el que googleblog search indexe lo antes posible nuestros post’s; y privarle la entrada al feed (según entiendo es lo primero que lee de forma casi inmediata) lo retardará aun cuando pudiera entrar al post utilizando la información del sitemap.

    Pero, tienes razón, al leer la url del post en el sitemap, quedará indexado eventualmente.

    Nota:
    Perdona las faltas de ortografía en el primer post (que conste fueron errores de tipeo 😛 ).

    ResponderResponder
  • el 5 octubre, 2008 a las 12:07 am
    Permalink

    @Renegado: no necesariamente, lo que trato es deshabilitar el feed y el trackback para evitar el contenido duplicado.

    En si el que se encargara de hacer que Google indexe tus temas en este caso seria el archivo sitemap.

    ResponderResponder
  • el 4 octubre, 2008 a las 10:38 pm
    Permalink

    Me parece que no permitiras googleblogs search indexe tus post si no colocas un Allow: /feed/$ o elimina ese Disalow: /feed/$

    ResponderResponder

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *