Robots.txt

Un fichero robots.txt proporciona información a los rastreadores de los buscadores sobre las páginas o los archivos que pueden solicitar o no de tu sitio web. Principalmente, se utiliza para evitar que tu sitio web se sobrecargue con solicitudes; no es un mecanismo para mantener una página web fuera de Google.

Resumen
Fecha de publicación
Título
¿Qué es el fichero Robots.txt?
Calificación
51star1star1star1star1star