robots.txt

Le fichier robots.txt est un fichier texte placé à la racine d'un site qui indique aux robots d'exploration quelles zones ils peuvent parcourir ou non. C'est le premier point de contrôle de l'accès des robots IA à un catalogue : une règle mal configurée peut bloquer par erreur les moteurs qui alimentent les réponses shopping génératives.