Autoriser un robot d'IA à lire son site, ou le refuser, est une décision d'entreprise. Nous avons regardé où elle était écrite, sur les vingt-trois sites de nos deux panels. Dans vingt et un cas, elle n'est écrite nulle part.
Par Marc, équipe marketing et marché d'Isoligne
Un site qui veut refuser un robot le fait dans un fichier texte à la racine de
son domaine, robots.txt. C'est le seul endroit prévu, il est lu par
les machines avant tout le reste, et il est public.
Ce relevé n'est pas un baromètre : une seule requête par domaine, sur le seul fichier dont la lecture est expressément prévue, le 13 août 2026. Nous avons utilisé l'instrument du produit, qui teste dix-sept agents connus et dit, pour chacun, s'il est nommé, autorisé ou bloqué.
Sur les vingt-trois sites des deux panels que nous suivons, mutuelles santé et écoles de commerce, vingt et un ne nomment aucun robot d'intelligence artificielle. Ni pour l'autoriser, ni pour le refuser.
Aucune des douze écoles n'a écrit une ligne sur le sujet. Ce sont pourtant des établissements dont le contenu, cours, recherche, méthodes pédagogiques, est l'actif principal.
Le silence n'est pas neutre : dans ce protocole, ce qui n'est pas interdit est autorisé. Un robot qui ne trouve pas son nom, ou qui trouve un groupe général permissif, considère qu'il peut lire. Vingt et une de ces entreprises ont donc autorisé la collecte de leurs pages, y compris pour l'entraînement de modèles, sans que personne en interne n'ait signé cette décision.
Il faut ajouter une nuance que beaucoup de discussions ratent, et qui rend le sujet moins binaire qu'il n'y paraît. Les robots ne font pas tous la même chose. Certains collectent pour entraîner un modèle : la page nourrit un corpus, elle ne rapporte aucune visite et aucune citation. D'autres vont chercher une page pour répondre à une question posée à l'instant : celui-là peut citer la source, et c'est de lui que vient le trafic. Bloquer les deux d'un même geste protège le contenu et supprime la citation.
Harmonie Mutuelle nomme un seul agent, et le bloque : Bytespider, le robot de ByteDance, connu pour sa réputation de collecte agressive. Aucun autre n'est mentionné. Autrement dit, la seule décision écrite concerne le robot dont on parle dans les forums d'administrateurs, pas ceux qui répondent aux clients.
Solimut Mutuelle de France est le seul cas du panel où la distinction ci-dessus est écrite, appliquée, et commentée dans le fichier lui-même. Treize agents nommés, sept bloqués.
Les robots d'entraînement sont refusés, les agents qui répondent à un utilisateur restent autorisés, et le seul jeton qui mélange les deux usages est laissé ouvert avec la raison écrite à côté. C'est une position discutable, et c'est surtout la seule du panel qui puisse être discutée, puisqu'elle est énoncée.
Transparence : Solimut Mutuelle de France est cliente de notre équipe sur d'autres sujets que celui-ci. Nous la citons parce qu'elle est le seul cas du panel, et le fichier est public : n'importe qui peut le relire à l'adresse indiquée et juger.
HEC Paris. À l'adresse hec.edu/robots.txt, le
serveur ne renvoie pas de règles : il redirige vers la page d'accueil anglaise et
sert 368 Ko de HTML avec un code 200. Les règles existent bien,
mais sur le sous-domaine www. Un robot qui part du domaine nu
n'obtient donc aucune consigne, et rien ne lui signale qu'il devrait aller
chercher ailleurs.
Aésio. Le serveur répond 403 et une page de
défi anti-robot, y compris sur le robots.txt. La protection
applicative refuse le fichier qui sert précisément à dire aux robots ce qu'ils
peuvent faire. Le résultat est qu'aucune règle n'est communicable, aux robots
respectueux comme aux autres.
Intériale. Le fichier existe, il contient de vraies directives, et il est servi avec un code 404. Un robot conforme traite une réponse 404 comme une absence de fichier : les règles sont écrites, elles ne s'appliquent à personne. C'est le cas le plus frustrant des trois, parce que quelqu'un a fait le travail.
Il ne mesure pas l'obéissance. Nous avons lu ce que les sites demandent, pas ce que les robots font. Certains ignorent ces consignes, et c'est une autre mesure, plus longue, qui suppose de lire des journaux serveur.
Un robots.txt n'est pas un contrat. C'est une convention respectée par les acteurs qui tiennent à leur réputation. Une entreprise qui veut opposer un refus juridique passe par ses conditions d'utilisation, et c'est un autre travail.
Bloquer n'est pas mieux qu'autoriser. Nous ne recommandons aucune des deux postures dans l'absolu : une école qui vit de sa notoriété académique et une mutuelle qui vit de la confidentialité de ses barèmes n'ont pas le même intérêt. Le seul point que ce relevé établit est qu'à vingt et une reprises sur vingt-trois, l'arbitrage n'a pas eu lieu.
Et ce n'est pas un avis juridique. Le sujet croise le droit d'auteur, les conditions d'utilisation et les décisions du régulateur. Nous mesurons un fichier texte.
Elle tient en une phrase, et elle ne s'adresse pas à la direction technique : qui, chez nous, a décidé que nos pages pouvaient servir à entraîner un modèle, et où est-ce écrit ?
Dans vingt et un cas sur vingt-trois, la réponse est aujourd'hui : personne, et nulle part. Ce n'est pas une faute, c'est une décision par défaut. Elle mérite seulement d'être prise, puis écrite, et le fichier qui la porte se relit en trois minutes.
Nous lisons votre robots.txt, nous vous disons ce qu'il autorise réellement, agent par agent, et nous séparons l'entraînement de la citation. C'est une requête sur un fichier public, sans accès à vos systèmes et sans une ligne modifiée sur votre site.
Nous lisons vos pages comme le fait un robot d'assistant, nous posons les questions de votre marché, et nous vous montrons ce qu'une IA répond à votre place.