Définir un temps d'attente minimum entre deux accès successifs du robot au site. Elle permet donc d'éviter toute surcharge en espaçant les visites du robot.
Syntaxe :
Crawl-delay: 15
Demande au robot d'attendre 15 secondes entre deux visites successives.
