1. Este sitio usa cookies. Para continuar usando este sitio, se debe aceptar nuestro uso de cookies. Más información.
  2. ¡Bienvenido a XenFácil!

    Estás viendo el sitio como Invitado. Para poder participar en este sitio

    y obtendrás privilegios adicionales, acceso a otras áreas y mucho mas.

    ¡Es gratis!


    ¿Ya eres miembro? Inicia sesión
Descartar aviso
Become a vip user! / ¡Házte usuario VIP!
Download free all our add-ons
descarga gratis todos nuestros complementos
Look into XenForo's Manual in spanish
ver gratis el Manual de XenForo en español
Upgrade to user VIP and download free all our add-ons, look into XenForo's Manual in spanish, see all tutorials entirely, and much more....
Actualiza a usuario VIP y descarga gratis todos nuestros complementos, podrás ver gratis el Manual de XenForo en español, ver completamente todos los tutoriales y mucho más....

Become a vip user! / ¡Házte usuario VIP!

Solucionado Mi Archivo Robots.txt

Tema en 'Ayuda y Soporte varios' iniciado por lms, 1 Nov 2010.

Estado del tema:
Cerrado para nuevas respuestas
  1. lms

    lms Administrador

    Registrado:
    6 Oct 2010
    Mensajes:
    7.316
    Me Gusta recibidos:
    2.055
    Puntos:
    2.613
    Género:
    Masculino
    País:
    España
    Versión de XenForo:
    1.5.14
    PayPal:
    Donar dinero a este usuario
    Página web:
    Web
    :descripcion:
    Tengo este archivo robots.txt ya que no deseo que Google indexe en su registro de páginas las páginas miembros, búsqueda, ayuda, misceláneo, acceso, sino sólo las discusiones y foros. Tal vez la sección miembros sea útil para algunos sitios .... de todos modos, prefiero la indexación sólo de páginas con contenido relevante ya que Google inicia la indexación sólo de algunas páginas de los sitios nuevos.

    :contenido:

    Tengo instalado xenForo en el directorio raíz (/), y mi robots.txt es:
    User-agent: *
    Disallow: /misc
    Disallow: /help
    Disallow: /search
    Disallow: /members
    Disallow: /register
    Disallow: /login
    Disallow: /online
    Disallow: /lost-password
    Disallow: /recent-activity​

    Añadido por otros xenforeros:
    Disallow: /threads/*/poll​
    Disallow: /data/​
    Disallow: /internal_data/​
    Disallow: /js/​
    Disallow: /library/​
    Disallow: /styles/​
    Disallow: /admin.php​
    Disallow: /admindav.php​

    :instrucciones:

    Se debe colocar a través de FTP en la ruta de instalación de nuestro foro xenForo (/, /foro, /comunidad, etc)

    :datostecnicos:

    Autor: Puntocom
    Tema original en inglés: My robots.txt file

    Salud2
     
    A 2 personas les gusta esto.
  2. ISPixel

    ISPixel Nuevo

    Registrado:
    13 Nov 2010
    Mensajes:
    4
    Me Gusta recibidos:
    4
    Puntos:
    3
    Género:
    Masculino
    Yo, recomiendo:

    Insertar CODE, HTML o PHP:
    User-agent: *
    Disallow: /misc
    Disallow: /help
    Disallow: /search
    Disallow: /members
    Disallow: /register
    Disallow: /login
    Disallow: /online
    Disallow: /lost-password
    Pienso que si le pones

    Insertar CODE, HTML o PHP:
    Disallow: /recent-activity
    
    Hace que Google indexe más lento la actividad nueva ;)
     
    A 2 personas les gusta esto.
  3. lms

    lms Administrador

    Registrado:
    6 Oct 2010
    Mensajes:
    7.316
    Me Gusta recibidos:
    2.055
    Puntos:
    2.613
    Género:
    Masculino
    País:
    España
    Versión de XenForo:
    1.5.14
    PayPal:
    Donar dinero a este usuario
    Página web:
    Web
    Aunque no deja de ser una redundancia, creo que nunca está de menos.

    Salud2
     
    A 2 personas les gusta esto.
  4. ManuTdi

    ManuTdi XenForoUser

    Registrado:
    6 Mar 2011
    Mensajes:
    1.189
    Me Gusta recibidos:
    404
    Puntos:
    583
    Género:
    Masculino
    Ubicación:
    Espana
    Porque si pongo site:www.ardillascoreanas.net en google me sale la ayuda del foro, si en el robots.txt lo tengo asi

    Insertar CODE, HTML o PHP:
    User-agent: *
    Disallow: /misc
    Disallow: /help
    Disallow: /events
    Disallow: /search
    Disallow: /members
    Disallow: /register
    Disallow: /login
    Disallow: /online
    Disallow: /lost-password
    Disallow: /recent-activity
    Disallow: /threads/*/poll
    Disallow: /internal_data/
    Disallow: /js/
    Disallow: /library/
    Disallow: /styles/
    Disallow: /admin.php
    Disallow: /admindav.php
     
    A 2 personas les gusta esto.
  5. Cesarion

    Cesarion XenForoUser

    Registrado:
    22 May 2011
    Mensajes:
    355
    Me Gusta recibidos:
    128
    Puntos:
    43
    Género:
    Masculino
    País:
    España
    Versión de XenForo:
    1.4.x
    Página web:
    Web
    Voy a poner mi robots.txt, a ver que os parece. ;)

    Insertar CODE, HTML o PHP:
    User-agent: *
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /ajax/
    Disallow: /attachments/
    Disallow: /conversations/
    Disallow: /events/birthdays/
    Disallow: /events/monthly
    Disallow: /events/weekly
    Disallow: /find-new/
    Disallow: /goto/
    Disallow: /help/
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /media/categories
    Disallow: /media/playlists
    Disallow: /media/random
    Disallow: /media/submit
    Disallow: /media/services
    Disallow: /media/users
    Disallow: /media/category/
    Disallow: /media/keyword/
    Disallow: /media/user/
    Disallow: /media/service/
    Disallow: /media/submit/
    Disallow: /members/
    Disallow: /misc/style?*
    Disallow: /misc/quick-navigation-menu?*
    Disallow: /online/
    Disallow: /pages/conduct/
    Disallow: /pages/privacy/
    Disallow: /recent-activity/
    Disallow: /search/
    Disallow: /search/?type=post
    Disallow: /useralbums/
    Disallow: /useralbums/own
    Disallow: /useralbums/create
    Disallow: /watched/
    Disallow: /watched/threads
     
    User-agent: msnbot
    Crawl-delay: 1
     
    User-agent: noxtrumbot
    Crawl-delay: 50
     
    User-agent: Slurp
    Crawl-delay: 10
     
     
    User-agent: bingbot
    Crawl-delay: 1
     
     
    User-agent: MSIECrawler
    Disallow: /
     
    User-agent: WebCopier
    Disallow: /
     
    User-agent: HTTrack
    Disallow: /
     
    User-agent: Microsoft.URL.Control
    Disallow: /
     
    User-agent: libwww
    Disallow: /
     
    User-agent: Mediapartners-Google
    Disallow:
     
    sitemap: http://www.xxx.com/sitemap/sitemap.xml.gz
     
    A iorG19 le gusta esto.
  6. lms

    lms Administrador

    Registrado:
    6 Oct 2010
    Mensajes:
    7.316
    Me Gusta recibidos:
    2.055
    Puntos:
    2.613
    Género:
    Masculino
    País:
    España
    Versión de XenForo:
    1.5.14
    PayPal:
    Donar dinero a este usuario
    Página web:
    Web
    Está bien.

    Gracias por compartirlo.

    Salud2
     
  7. Tize

    Tize XenForoUser

    Registrado:
    27 Abr 2011
    Mensajes:
    356
    Me Gusta recibidos:
    54
    Puntos:
    28
    Género:
    Masculino
    Ubicación:
    Paradise
    País:
    España
    Página web:
    Web
    Hola a todos, voy a utilizar el robot de cesarión.
    Gracias por la publicación.
     
  8. Cesarion

    Cesarion XenForoUser

    Registrado:
    22 May 2011
    Mensajes:
    355
    Me Gusta recibidos:
    128
    Puntos:
    43
    Género:
    Masculino
    País:
    España
    Versión de XenForo:
    1.4.x
    Página web:
    Web
    Tengo una duda respecto al Route Changer. ¿Si yo lo tengo instalado y configurado debo modificar el robots.txt sustituyendo las rutas por las nuevas?
     
  9. lms

    lms Administrador

    Registrado:
    6 Oct 2010
    Mensajes:
    7.316
    Me Gusta recibidos:
    2.055
    Puntos:
    2.613
    Género:
    Masculino
    País:
    España
    Versión de XenForo:
    1.5.14
    PayPal:
    Donar dinero a este usuario
    Página web:
    Web
    No. El cambio de rutas es dinámico. Si tecleas la "vieja ruta" llegarás a la misma.

    Salud2
     
  10. Cesarion

    Cesarion XenForoUser

    Registrado:
    22 May 2011
    Mensajes:
    355
    Me Gusta recibidos:
    128
    Puntos:
    43
    Género:
    Masculino
    País:
    España
    Versión de XenForo:
    1.4.x
    Página web:
    Web
    ¿Pero eso google lo entiende? Lo digo, porque google me está indexando las rutas modificadas que tengo bloqueadas en el robots.txt sin modificar.
     
  11. lms

    lms Administrador

    Registrado:
    6 Oct 2010
    Mensajes:
    7.316
    Me Gusta recibidos:
    2.055
    Puntos:
    2.613
    Género:
    Masculino
    País:
    España
    Versión de XenForo:
    1.5.14
    PayPal:
    Donar dinero a este usuario
    Página web:
    Web
    El que no entiende es el robots. Si ahí tienes una bloqueada, el bot no la indexa, pero si le dejas una puerta abierta con el cambio de ruta dinámico, esa sí la indexa. Es cuestión de modificar el robots AÑADIENDO las nuevas (no sea que luego te arrepientas del cambiador de rutas o se haga incompatible con nuevas versiones o ... y ....)

    Salud2
     
    A 2 personas les gusta esto.
Estado del tema:
Cerrado para nuevas respuestas

Compartir esta página

Este sitio usa cookies, propias y de terceros.
Si se continúa con nosotros entendemos que se acepta el uso de cookies.