• ¡Bienvenido a XenFácil!

    Estás viendo el sitio como Invitado. Para poder participar en este sitio

    y obtendrás privilegios adicionales, acceso a otras áreas y mucho mas.

    ¡Es gratis!


    ¿Ya eres miembro? Inicia sesión

Solucionado Mi Archivo Robots.txt

Estado
Cerrado para nuevas respuestas
lms

lms

Administrador
Mensajes
7.741
Puntuación de reacciones
2.163
Puntos
2.613
Sitio web
xenfacil.com
País
España
Versión de XenForo
2.1.x
PayPal
Donar dinero a este usuario
Página web
Web
:descripcion:
Tengo este archivo robots.txt ya que no deseo que Google indexe en su registro de páginas las páginas miembros, búsqueda, ayuda, misceláneo, acceso, sino sólo las discusiones y foros. Tal vez la sección miembros sea útil para algunos sitios .... de todos modos, prefiero la indexación sólo de páginas con contenido relevante ya que Google inicia la indexación sólo de algunas páginas de los sitios nuevos.

:contenido:

Tengo instalado xenForo en el directorio raíz (/), y mi robots.txt es:
User-agent: *
Disallow: /misc
Disallow: /help
Disallow: /search
Disallow: /members
Disallow: /register
Disallow: /login
Disallow: /online
Disallow: /lost-password
Disallow: /recent-activity​
​
Añadido por otros xenforeros:
Disallow: /threads/*/poll​
Disallow: /data/​
Disallow: /internal_data/​
Disallow: /js/​
Disallow: /library/​
Disallow: /styles/​
Disallow: /admin.php​
Disallow: /admindav.php​

:instrucciones:

Se debe colocar a través de FTP en la ruta de instalación de nuestro foro xenForo (/, /foro, /comunidad, etc)

:datostecnicos:

Autor: Puntocom
Tema original en inglés: My robots.txt file

Salud2
 
I

ISPixel

Nuevo
Mensajes
4
Puntuación de reacciones
4
Puntos
3
Yo, recomiendo:

Insertar CODE, HTML o PHP: 
User-agent: *
Disallow: /misc
Disallow: /help
Disallow: /search
Disallow: /members
Disallow: /register
Disallow: /login
Disallow: /online
Disallow: /lost-password

Pienso que si le pones

Insertar CODE, HTML o PHP: 
Disallow: /recent-activity

Hace que Google indexe más lento la actividad nueva ;)
 
lms

lms

Administrador
Mensajes
7.741
Puntuación de reacciones
2.163
Puntos
2.613
Sitio web
xenfacil.com
País
España
Versión de XenForo
2.1.x
PayPal
Donar dinero a este usuario
Página web
Web
Aunque no deja de ser una redundancia, creo que nunca está de menos.

Salud2
 
ManuTdi

ManuTdi

XenForoUser
Mensajes
1.189
Puntuación de reacciones
405
Puntos
583
País
España
Versión de XenForo
2.1.x
Porque si pongo site:www.ardillascoreanas.net en google me sale la ayuda del foro, si en el robots.txt lo tengo asi

Insertar CODE, HTML o PHP: 
User-agent: *
Disallow: /misc
Disallow: /help
Disallow: /events
Disallow: /search
Disallow: /members
Disallow: /register
Disallow: /login
Disallow: /online
Disallow: /lost-password
Disallow: /recent-activity
Disallow: /threads/*/poll
Disallow: /internal_data/
Disallow: /js/
Disallow: /library/
Disallow: /styles/
Disallow: /admin.php
Disallow: /admindav.php
 
Cesarion

Cesarion

XenForoUser
Mensajes
355
Puntuación de reacciones
126
Puntos
43
País
España
Versión de XenForo
1.4.x
Página web
Web
Voy a poner mi robots.txt, a ver que os parece. ;)

Insertar CODE, HTML o PHP: 
User-agent: *
Disallow: /account/
Disallow: /admin.php
Disallow: /ajax/
Disallow: /attachments/
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly
Disallow: /events/weekly
Disallow: /find-new/
Disallow: /goto/
Disallow: /help/
Disallow: /login/
Disallow: /lost-password/
Disallow: /media/categories
Disallow: /media/playlists
Disallow: /media/random
Disallow: /media/submit
Disallow: /media/services
Disallow: /media/users
Disallow: /media/category/
Disallow: /media/keyword/
Disallow: /media/user/
Disallow: /media/service/
Disallow: /media/submit/
Disallow: /members/
Disallow: /misc/style?*
Disallow: /misc/quick-navigation-menu?*
Disallow: /online/
Disallow: /pages/conduct/
Disallow: /pages/privacy/
Disallow: /recent-activity/
Disallow: /search/
Disallow: /search/?type=post
Disallow: /useralbums/
Disallow: /useralbums/own
Disallow: /useralbums/create
Disallow: /watched/
Disallow: /watched/threads
 
User-agent: msnbot
Crawl-delay: 1
 
User-agent: noxtrumbot
Crawl-delay: 50
 
User-agent: Slurp
Crawl-delay: 10
 
 
User-agent: bingbot
Crawl-delay: 1
 
 
User-agent: MSIECrawler
Disallow: /
 
User-agent: WebCopier
Disallow: /
 
User-agent: HTTrack
Disallow: /
 
User-agent: Microsoft.URL.Control
Disallow: /
 
User-agent: libwww
Disallow: /
 
User-agent: Mediapartners-Google
Disallow:
 
sitemap: http://www.xxx.com/sitemap/sitemap.xml.gz
 
lms

lms

Administrador
Mensajes
7.741
Puntuación de reacciones
2.163
Puntos
2.613
Sitio web
xenfacil.com
País
España
Versión de XenForo
2.1.x
PayPal
Donar dinero a este usuario
Página web
Web
Está bien.

Gracias por compartirlo.

Salud2
 
Tize

Tize

XenForoUser
Mensajes
356
Puntuación de reacciones
54
Puntos
28
Sitio web
xenfacil.com
País
España
Versión de XenForo
Página web
Web
Hola a todos, voy a utilizar el robot de cesarión.
Gracias por la publicación.
 
Cesarion

Cesarion

XenForoUser
Mensajes
355
Puntuación de reacciones
126
Puntos
43
País
España
Versión de XenForo
1.4.x
Página web
Web
Tengo una duda respecto al Route Changer. ¿Si yo lo tengo instalado y configurado debo modificar el robots.txt sustituyendo las rutas por las nuevas?
 
lms

lms

Administrador
Mensajes
7.741
Puntuación de reacciones
2.163
Puntos
2.613
Sitio web
xenfacil.com
País
España
Versión de XenForo
2.1.x
PayPal
Donar dinero a este usuario
Página web
Web
No. El cambio de rutas es dinámico. Si tecleas la "vieja ruta" llegarás a la misma.

Salud2
 
Cesarion

Cesarion

XenForoUser
Mensajes
355
Puntuación de reacciones
126
Puntos
43
País
España
Versión de XenForo
1.4.x
Página web
Web
lms dijo:
No. El cambio de rutas es dinámico. Si tecleas la "vieja ruta" llegarás a la misma.

Salud2
Hacer clic para expandir...

¿Pero eso google lo entiende? Lo digo, porque google me está indexando las rutas modificadas que tengo bloqueadas en el robots.txt sin modificar.
 
lms

lms

Administrador
Mensajes
7.741
Puntuación de reacciones
2.163
Puntos
2.613
Sitio web
xenfacil.com
País
España
Versión de XenForo
2.1.x
PayPal
Donar dinero a este usuario
Página web
Web
El que no entiende es el robots. Si ahí tienes una bloqueada, el bot no la indexa, pero si le dejas una puerta abierta con el cambio de ruta dinámico, esa sí la indexa. Es cuestión de modificar el robots AÑADIENDO las nuevas (no sea que luego te arrepientas del cambiador de rutas o se haga incompatible con nuevas versiones o ... y ....)

Salud2
 
Estado
Cerrado para nuevas respuestas
Arriba