Instructions

Le fichier est composé des instructions suivantes :

User-agent: { nom du robot } Détail
Disallow: { document à exclure } Détail
Crawl-delay: { temps en secondes } Détail
Allow: { document à visiter } Détail

Par exemple, pour indiquer au spider d'Alta Vista, dénommée Scooter, de ne pas indexer les fichiers perso.html et emploi.html, il faut insérer les lignes suivantes dans robots.txt :

User-agent: Scooter
Disallow: perso.html
Disallow: emploi.html