• Il doit exister un seul fichier robots.txt sur l' ensemble de votre site.
• Il doit être situé à la racine de votre site
• Vous devez créer plusieurs sections User-agent si vous souhaitez que votre fichier robots.txt s' applique à différents moteurs de recherche.
• Le nom du fichier (robots.txt) doit être écrit impérativement en minuscule.
• Votre fichier robots.txt doit être en mode ASCII.

Pour tester votre propre fichier

Pour plus d' informations