Vous êtes ici : Développer dans K-Sup → Personnalisation → Front-office

Personnaliser le fichier robots.txt

Le fichier robots.txt peut être surchargé pour y ajouter des règles d'exclusion spécifiques

Fonctionnement par défaut

Le fichier robots.txt situé à la racine de votre application est généré de façon dynamique car il comprend deux parties :

Une partie correspondant aux règles de "Disallow" : ces règles sont définies dans le fichier default-robots.txt présent dans le répertoire resources du dossier webapp
Une partie qui comprend la liste des fichiers Sitemap de votre application : cette liste est dynamique car elle reprend la liste des sites déclarés sur votre application, et qui ont l'option "Indexer le site" activée

Mécanisme de surcharge

Il est possible de surcharger la première partie du fichier en plaçant un fichier robots.txt dans votre dossier ${storage}/conf.

Astuce
Avant de mettre en production votre fichier, nous vous invitons à le tester dans l'outil Google Search Console (menu "Exploration / Outil de test du fichier robots.txt"). Il permet de tester différentes URLs et de voir si elles sont autorisées ou non.

Mis à jour le 12 juin 2018