• ¡Bienvenido a XenFácil!

    Estás viendo el sitio como Invitado. Para poder participar en este sitio

    y obtendrás privilegios adicionales, acceso a otras áreas y mucho mas.

    ¡Es gratis!


    ¿Ya eres miembro? Inicia sesión

Solucionado Mi Archivo Robots.txt

Estado
Cerrado para nuevas respuestas

lms

Administrador
#1
:descripcion:
Tengo este archivo robots.txt ya que no deseo que Google indexe en su registro de páginas las páginas miembros, búsqueda, ayuda, misceláneo, acceso, sino sólo las discusiones y foros. Tal vez la sección miembros sea útil para algunos sitios .... de todos modos, prefiero la indexación sólo de páginas con contenido relevante ya que Google inicia la indexación sólo de algunas páginas de los sitios nuevos.

:contenido:

Tengo instalado xenForo en el directorio raíz (/), y mi robots.txt es:
User-agent: *
Disallow: /misc
Disallow: /help
Disallow: /search
Disallow: /members
Disallow: /register
Disallow: /login
Disallow: /online
Disallow: /lost-password
Disallow: /recent-activity​
Añadido por otros xenforeros:
Disallow: /threads/*/poll​
Disallow: /data/​
Disallow: /internal_data/​
Disallow: /js/​
Disallow: /library/​
Disallow: /styles/​
Disallow: /admin.php​
Disallow: /admindav.php​

:instrucciones:

Se debe colocar a través de FTP en la ruta de instalación de nuestro foro xenForo (/, /foro, /comunidad, etc)

:datostecnicos:

Autor: Puntocom
Tema original en inglés: My robots.txt file

Salud2
 
#2
Yo, recomiendo:

Insertar CODE, HTML o PHP:
User-agent: *
Disallow: /misc
Disallow: /help
Disallow: /search
Disallow: /members
Disallow: /register
Disallow: /login
Disallow: /online
Disallow: /lost-password
Pienso que si le pones

Insertar CODE, HTML o PHP:
Disallow: /recent-activity
Hace que Google indexe más lento la actividad nueva ;)
 

ManuTdi

XenForoUser
#4
Porque si pongo site:www.ardillascoreanas.net en google me sale la ayuda del foro, si en el robots.txt lo tengo asi

Insertar CODE, HTML o PHP:
User-agent: *
Disallow: /misc
Disallow: /help
Disallow: /events
Disallow: /search
Disallow: /members
Disallow: /register
Disallow: /login
Disallow: /online
Disallow: /lost-password
Disallow: /recent-activity
Disallow: /threads/*/poll
Disallow: /internal_data/
Disallow: /js/
Disallow: /library/
Disallow: /styles/
Disallow: /admin.php
Disallow: /admindav.php
 

Cesarion

XenForoUser
#5
Voy a poner mi robots.txt, a ver que os parece. ;)

Insertar CODE, HTML o PHP:
User-agent: *
Disallow: /account/
Disallow: /admin.php
Disallow: /ajax/
Disallow: /attachments/
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly
Disallow: /events/weekly
Disallow: /find-new/
Disallow: /goto/
Disallow: /help/
Disallow: /login/
Disallow: /lost-password/
Disallow: /media/categories
Disallow: /media/playlists
Disallow: /media/random
Disallow: /media/submit
Disallow: /media/services
Disallow: /media/users
Disallow: /media/category/
Disallow: /media/keyword/
Disallow: /media/user/
Disallow: /media/service/
Disallow: /media/submit/
Disallow: /members/
Disallow: /misc/style?*
Disallow: /misc/quick-navigation-menu?*
Disallow: /online/
Disallow: /pages/conduct/
Disallow: /pages/privacy/
Disallow: /recent-activity/
Disallow: /search/
Disallow: /search/?type=post
Disallow: /useralbums/
Disallow: /useralbums/own
Disallow: /useralbums/create
Disallow: /watched/
Disallow: /watched/threads
 
User-agent: msnbot
Crawl-delay: 1
 
User-agent: noxtrumbot
Crawl-delay: 50
 
User-agent: Slurp
Crawl-delay: 10
 
 
User-agent: bingbot
Crawl-delay: 1
 
 
User-agent: MSIECrawler
Disallow: /
 
User-agent: WebCopier
Disallow: /
 
User-agent: HTTrack
Disallow: /
 
User-agent: Microsoft.URL.Control
Disallow: /
 
User-agent: libwww
Disallow: /
 
User-agent: Mediapartners-Google
Disallow:
 
sitemap: http://www.xxx.com/sitemap/sitemap.xml.gz
 

Cesarion

XenForoUser
#8
Tengo una duda respecto al Route Changer. ¿Si yo lo tengo instalado y configurado debo modificar el robots.txt sustituyendo las rutas por las nuevas?
 

lms

Administrador
#9
No. El cambio de rutas es dinámico. Si tecleas la "vieja ruta" llegarás a la misma.

Salud2
 

lms

Administrador
#11
El que no entiende es el robots. Si ahí tienes una bloqueada, el bot no la indexa, pero si le dejas una puerta abierta con el cambio de ruta dinámico, esa sí la indexa. Es cuestión de modificar el robots AÑADIENDO las nuevas (no sea que luego te arrepientas del cambiador de rutas o se haga incompatible con nuevas versiones o ... y ....)

Salud2
 
Estado
Cerrado para nuevas respuestas
Arriba