El robots.txt perfecto para WordPress con el fin de posicionarse en Google

El archivo Robots.txt es el utilizado para poder decirle a Google lo que deseamos sea o no indexado en sus servidores, podríamos definirlo como las reglas de juego para que tanto el buscador como el Webmaster salgan beneficiados.

El robot para Google

En el archivo Robots.txt se utilizan las expresiones de Allow (permitir) y Disallow (rechazar) para indicarle al robot de Google que contenido debe ser indexado y cual no. A continuación te ofrecemos un archivo Robots.txt perfecto para tu blog en WordPress, solo debes copiar, colocar la dirección de tu web y subirlo a tu servidor. De esta manera aumentarás las opciones de posicionamiento en Google.

User-Agent: *

Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-
Disallow: /?s=
Disallow: /search
Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10

Sitemap: http://www.TU-SITIO-AQUI.com/sitemap.xml
suscribete a los comentarios

0 Comments

  1. Buenas tardes, tengo un robots.txt tal que así:

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/

    Entiendo que es insuficiente información la que le estoy dando a google para que me indexe/no indexe. Por tanto quiero colocar un robots.txt más completo, cómo el que proponen.

    Pero el tema es que la sitemap del sitio es generado por el wordpress seo by yoast, y es tal que así:

    http://tutallerdebricolaje.com/post-sitemap.xml
    http://tutallerdebricolaje.com/page-sitemap.xml
    http://tutallerdebricolaje.com/category-sitemap.xml
    http://tutallerdebricolaje.com/post_tag-sitemap.xml
    http://tutallerdebricolaje.com/ngg_tag-sitemap.xml

    ¿debo insertar cada linea de código cómo sitemap en el robots.txt?

    ¿este robots.txt vale para wordpress con cualquier themes, plugins…?

    Espero haber explicado bien mi duda.
    Saludos y gracias.

    • Hola, este robots.txt no te servirá si utilizas el plugins de Yoast. Solo puedes usarlo cuando posees un único archivo. para usarlo lo copias y lo pegas tal cual.

      Espero haberme hecho entender.

      Saludos

      • Hola,

        ¿entonces no me vale el robots.txt que proponen si uso yoast?

        En caso afirmativo: ¿que robots.txt podría implementar para lograr unos buenos resultados?

        Saludos y gracias

  2. Pingback: Cómo saber si tu archivo robots.txt contiene errores  | Pasión SEO | Aprende SEO gratis

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *