Robots.txt : Le guide

C'est quoi un fichier robots.txt ?

Un fichier robots.txt est un fichier texte qui se trouve à la racine de votre site internet. Ce fichier donne les directives aux différents robots visitant votre site autorisant à accéder à certaines pages.

Ces autorisations sont principalement à destination des robots des moteurs de recherche, notamment le Google Bot, robot du moteur de recherche Google, mais aussi pour les milliers d'autres robots visitant votre site internet.

Vous pouvez grâce à ce fichier, refuser l'accès à certaines URL de votre site, il faut toutefois pour cela que les différents robots acceptent vos instructions. Certains robots ne prennent pas en compte des instructions émises dans le robots.txt et accèdent tout de même aux pages ci-mentionnées.

Où se trouve le fichier robots.txt ?

Le fichier robots.txt se trouve à la racine (Root) de votre dossier web où est installé votre site internet.

Pour vérifier sa présence, vous pouvez vous connecter à son URL, par exemple : https://www.domaine.com/robots.txt ou vous connecter directement à votre dossier FTP.

Où se trouve le fichier robots.txt sur Wordpress ?

Si votre site web est un Wordpress, la présence du fichier robots.txt ne différe pas des autres solutions web. Le fichier robots.txt se trouve toujours à la racine de votre site internet. Selon votre hébergement, vous pouvez y accéder via un gestionnaire de fichiers ou directement par FTP avec un logiciel de type Filezilla.

Comment créer un fichier robots.txt ?

Si votre site internet ne contient pas de fichier robots.txt à la racine de celui-ci, dans votre FTP, vous pouvez en créer.

Pour cela, c'est très simple, il vous suffit de :

• Faites un clic droit sur le bureau de votre ordinateur.
• Cliquez sur Nouveau puis Document texte.
• Renommer le Nouveau document texte en robots.txt
• Uploader ce fichier via FTP à la racine de votre site internet.

Comment modifier le robots.txt ?

Pour modifier votre fichier robots.txt c'est très simple, il vous suffit de vous connecter à votre site web via votre logiciel FTP (Ex: Filezilla) et une fois connecté à votre dossier racine :

• Faire un clic droit à l'aide de votre souris sur le fichier robots.txt
• Cliquer sur Afficher / Editer sur Filezilla
• Modifier les paramètres à l'aide d'un éditeur de texte
• Enregistrer les modifications

Comment tester votre fichier robots.txt ?

Lorsque vous avez modifier votre robots.txt, nous vous conseillons de le tester afin de se rendre compte si les nouvelles règles mises en place ne bloquent pas le crawl de certains URL importantes de votre site.

Pour cela, vous devez créer un compte Google Search Console, si c'est déjà fais, il suffit de vous y connecter puis de rechercher dans Google "Outil de test du fichier robots.txt". Cet outil vous permettra de visualiser les régles effectives de votre robots.txt et de tester si une URL est bloquée par ces nouvelles règles établies.

Quelques règles de robots.txt

Voici quelques exemples de règles à mettre dans son fichier robots.txt :

• User-Agent:* (Cette règle autorise l'accès à tous les robots à votre site)
• Disallow:/assets (Interdit l'accès au dossier assets à tous les robots à votre site)