Comment créer un fichier robots.txt ?

Découvrez comment créer un fichier robots.txt simplement.

creation robots.txt

C'est quoi un fichier robots.txt ?

Un fichier robots.txt est un fichier texte qui se trouve à la racine de votre site internet. Ce fichier donne les directives aux différents robots visitant votre site autorisant à accéder à certaines pages.

Ces autorisations sont principalement à destination des robots des moteurs de recherche, notamment le Google Bot, robot du moteur de recherche Google, mais aussi pour les milliers d'autres robots visitant votre site internet.

Vous pouvez grâce à ce fichier, refuser l'accès à certaines URL de votre site, il faut toutefois pour cela que les différents robots acceptent vos instructions. Certains robots ne prennent pas en compte des instructions émises dans le robots.txt et accèdent tout de même aux pages ci-mentionnées.

Comment créer un fichier robots.txt ?

Si votre site internet ne contient pas de fichier robots.txt à la racine de celui-ci, dans votre FTP, vous pouvez en créer.

Pour cela, c'est très simple, il vous suffit de :

  • Faites un clic droit sur le bureau de votre ordinateur.
  • Cliquez sur Nouveau puis Document texte.
  • Renommer le Nouveau document texte en robots.txt
  • Uploader ce fichier via FTP à la racine de votre site internet.

Quelques règles de robots.txt

Voici quelques exemples de règles à mettre dans son fichier robots.txt :

  • User-Agent:* (Cette règle autorise l'accès à tous les robots à votre site)
  • Disallow:/assets (Interdit l'accès au dossier assets à tous les robots à votre site)
Besoin de + de trafic ?

Développez le chiffre d'affaires online de votre entreprise.