Robots.txt : qui a le droit d'explorer votre site
Choisissez un préréglage ou personnalisez robot par robot, moteurs de recherche classiques et robots d'IA, avec un testeur pour vérifier vos règles avant de publier.
Un petit fichier, des conséquences réelles
Un fichier, plusieurs publics
Moteurs de recherche classiques et robots d'IA ne se contrôlent pas de la même façon dans robots.txt : ce générateur les distingue.
Un testeur, pas seulement un générateur
Vérifiez qu'une règle fait bien ce que vous pensez, pour un robot et un chemin donnés, avant de publier.
Une consigne, pas une protection
robots.txt indique une préférence aux robots qui la respectent. Ce n'est ni un mur de sécurité, ni une garantie.
Vos questions sur robots.txt
Bloquer les robots IA fait-il disparaître mon site de ChatGPT ou de Claude ?
Ça dépend du robot. Bloquer un robot d'entraînement (GPTBot, ClaudeBot...) ne change rien à votre présence immédiate dans les réponses : il empêche seulement que votre contenu serve à entraîner de futurs modèles. Bloquer un robot de recherche IA (OAI-SearchBot, PerplexityBot...) réduit en revanche vos chances d'être cité dans les réponses de ces assistants, un peu comme bloquer Googlebot vous ferait disparaître de Google.
robots.txt empêche-t-il vraiment un robot de visiter mon site ?
Non. C'est une consigne que les robots respectueux suivent volontairement. Un robot mal intentionné, ou certains agents qui répondent à une demande explicite d'un utilisateur, peuvent l'ignorer. Pour un vrai contrôle d'accès, il faut d'autres moyens techniques (mot de passe, blocage serveur).
Faut-il bloquer les robots d’IA ?
Ça dépend de votre stratégie. Certains y voient une question de principe (ne pas nourrir gratuitement des modèles commerciaux) ; d'autres préfèrent rester visibles, y compris dans les réponses des IA. Il n'y a pas de bonne réponse universelle : ce générateur vous permet de faire un choix éclairé, robot par robot.
Une erreur dans robots.txt peut-elle désindexer mon site ?
Oui, potentiellement : un « Disallow: / » sous « User-agent: * » bloque tous les robots qui n'ont pas leur propre groupe de règles, y compris Google. C'est l'erreur la plus fréquente et la plus grave. L'analyseur de cet outil la signale si vous importez un fichier existant.
Le Crawl-delay ralentit-il vraiment un robot ?
Pas toujours. Google l'ignore complètement. D'autres robots le respectent, avec des interprétations parfois différentes de l'unité (secondes) ou du comportement exact. Ne comptez pas dessus pour un contrôle fin.
Qu’est-ce que llms.txt ?
C'est une proposition, non standardisée à ce jour, pour indiquer aux IA un résumé du contenu d'un site dans un fichier séparé. Ce n'est pas une norme reconnue comme robots.txt : cet outil ne le génère pas pour l'instant.
Dois-je aussi soumettre mon robots.txt à Google ou Bing ?
Non, ce n'est pas nécessaire : les robots vérifient ce fichier automatiquement à la racine de votre site (votre-site.fr/robots.txt). Assurez-vous simplement qu'il est bien accessible à cette adresse une fois mis en ligne.
Votre visibilité, dans les moteurs et dans les IA ?
30 minutes pour regarder votre visibilité. Vous repartez avec vos priorités. Gratuit, sans engagement.
30 minutes · sans engagement