Cuando un robot visita una página, por ejemplo lo primero que solicita al servidor es el archivo Si puede localizar el documento, lo analiza para ver si está permitido acceder a su contenido...