|
Disallow: { document à exclure }
But de la commande
Interdire l'indexation d'un site, d'un répertoire ou d'un fichier
Syntaxe :
| Disallow:/index2.htm |
| |
Indique aux robots qu 'ils ne doivent pas indexer la page /index2.htm situé à la racine du site |
| Disallow:/admin/ |
| |
Indique aux robots qu 'ils ne peuvent indexer les fichiers contenus dans le répertoire admin. |
| Disallow: |
| |
Indique aux robots que tout doit être indexé. Identique
à un fichier robots.txt inexistant. |
Ecarts par rapport au standard (Google, msn)
Le caractère * peut être utilisé pour remplacer n'importe quel caractère dans l'adresse.
Le caractère $ à la fin d'une instruction Disallow fera en sorte que cette instruction sera interprètée de manière non standard. Googlebot ne visitera pas les adresses correspondant exactement au texte qui précède le signe $. Les caractères * et $ peuvent être utilisés séparément ou dans la même ligne.
| Disallow: /*.pdf$ |
| |
L'instruction interdit de lire les fichiers .pdf partout sur le site. |
| Disallow: /*-commande |
| |
Cette instruction interdit de lire les adresses dont le nom inclut la chaîne de caractères -commande.
Il s'agira, par exemple, des adresses /robot-commande.php ou /commande.html. |
| Disallow: /*? |
| |
Cette instruction interdit à Googlebot d'accéder aux adresses comprenant un point d'interrogation (?).
Il s'agira, par exemple, des adresses /index.php?ref=45 et /robots.php?debut=2,
mais l'accès à /index.php et /contenu.php est autorisé. |
|
