Création du fichier robots.txt

Outils

Il est conseillé d' utiliser un éditeur de texte tel que le Bloc-notes. Des programmes comme Word sont utilisables, mais avec précaution, car le fichier sauvé sur le serveur peut parfois ne pas être au format ASCI pur.

Où placer le fichier robots.txt?

Le fichier robots.txt doit toujours être placé dans le répertoire racine du site et nulle part ailleurs.

Sous-domaines?

Si vous utilisez des sous-domaines (exemple : http://sous_domaine.nom_du_site), il faudra un robots.txt par sous-domaine placé dans le répetroire principal du sous-domaine.

Sous-répertoire?

Si votre site est uniquement accessible comme sous-répertoire d'un site principal (exemple : http://www.nom_du_site/votresite/), ce sera le robots.txt du site principal qui s'appliquera à votre site.

Controle

Le moyen le plus simple pour vérifier que votre fichier robots.txt est placé au bon endroit est de taper :
http://nom_du_site/robots.txt ou http://sous_domaine.nom_du_site/robots.txt dans la barre d'adresse de votre navigateur. Le navigateur doit alors afficher le contenu de votre fichier.
Contrôle du fichier robots.txt de ce site : http://www.referencement-info.com/robots.txt

< Précédent : Explications
> Suite : User-agent