Que los buscadores indexen nuestro sitio web al completo siempre es buena idea, pero en esta sección vamos a darles algunos consejos ya que no siempre queremos que así sea:
Para evitar que los robots de búsqueda revisen el sitio por completo (lo cual incrementaría demasiado el tiempo de rastreo), se puede generar un archivo sitemap (XML) para documentar el sitio, sus páginas, importancia y frecuencia de actualización.
Ejemplo del archivo sitemap.xml
Para construir tu propio sitemap, puedes revisar la documentación oficial
http://www.sitemaps.org/es/protocol.php
http://www.sitemaps.org/es/protocol.php
Cuando un robot visita una página, lo primero que hace, es solicitar el archivo robots.txt, el cual le dice al robot, si tiene permiso para indexar la pagina, y que contenido de esta puede visitar (muchas veces podemos desear que secciones de nuestra página no se indexen en los buscadores)
Algunos ejemplos del archivo robots.txt:
# Ya que dejamos Disallow vacio
User-agent: webcrawler
Disallow:
# En cambio lycra y BadBot
# tiene prohibido integramente el acceso
# tiene prohibido integramente el acceso
User-agent: lycra
User-agent: BadBot
Disallow: /
User-agent: BadBot
Disallow: /
# El resto de bots (señalado mediante *)
# tiene prohibido el acceso a los directorios
# /tmp y /log; libertad para el resto.
# tiene prohibido el acceso a los directorios
# /tmp y /log; libertad para el resto.
User-agent: *
Disallow: /tmp
Disallow: /logs
Disallow: /tmp
Disallow: /logs
Más información para crear tu propio archivo robots.txt la puedes encontrar en el siguiente enlace:
http://www.robotstxt.org/robotstxt.html
http://www.robotstxt.org/robotstxt.html
Asesoramiento GRATUITO de Posicionamiento Web en España: 637 904 438.
¡Comience a recibir visitas a su web desde hoy mismo!
Santiago Castrogiovanni - Google Advertising Professional
Certificado N° 260-3968-1 - Programa de Certificación de Google Adwords
Certificado N° 260-3968-1 - Programa de Certificación de Google Adwords
Brindamos servicio en cualquier región, ciudad o país del mundo. Contáctenos para conocer nuestra red y para más información.
-
Contacto: Posicionamiento web 637 904 438