Une note technique dit ce qu'un site fait de ce qu'un site peut faire. Elle ne dit pas si quelqu'un obtient une réponse. Nous avons donc posé, à chaque site mesuré, les six questions que pose réellement un acheteur de son marché, et nous avons compté.
Par Marc, équipe marketing et marché d'Isoligne
Nous mesurons 75 sites français dans six secteurs. À chacun, notre outil génère six questions d'achat propres à son marché, puis va chercher si le texte réellement servi y répond.
La composition de ces six questions est imposée par notre méthode, et il faut le dire avant les résultats : trois questions auxquelles une bonne page peut répondre, la même pour tout le monde, et trois dont la réponse dépend de celui qui demande. Cet équilibre est un choix, pas une observation. Un jeu de questions uniquement impossibles ne mesurerait plus rien.
Ce qui suit, en revanche, est mesuré.
| Questions restées sans réponse | Nombre de sites |
|---|---|
| 6 sur 6 | 21 |
| 5 sur 6 | 23 |
| 4 sur 6 | 14 |
| 3 sur 6 | 10 |
| 2 sur 6 | 7 |
| 1 ou 0 | 0 |
Aucun site du panel ne répond à plus de quatre questions sur six. Vingt et un n'en traitent aucune. Quarante-quatre, soit la majorité, en traitent au plus une.
Ces mêmes sites obtiennent en moyenne plus de 85 sur 100 à notre note technique. Ils servent leur texte sans JavaScript, distinguent leurs pages, laissent entrer les robots de réponse. Le problème n'est pas la construction.
Nous avons voulu savoir ce qu'un assistant produit quand il ne trouve rien. Sur les questions restées sans réponse, nous en avons soumis deux par site à un modèle, en lui donnant le nom de l'entreprise et son activité, sans lui donner de page à lire. Cent cinquante sollicitations en tout.
Le modèle a produit une réponse cent cinquante fois. Il ne s'est pas tu une seule fois.
Le contenu de ces réponses, en revanche, n'est pas uniforme, et l'honnêteté oblige à le distinguer plutôt qu'à tout ranger sous le mot « hallucination ».
Certaines sont des refus corrects. À « quel serait le montant de ma cotisation mensuelle pour 50 salariés ? », le modèle répond qu'il lui faut connaître les garanties souhaitées et le profil des salariés, et renvoie vers un conseiller. C'est exactement le bon comportement, et il faut le dire.
D'autres sont des affirmations, énoncées au nom de l'entreprise, sur des points que le modèle ne peut pas connaître. À « quels documents faut-il pour souscrire en ligne ? », il liste le permis, la carte grise et un relevé d'informations récent. C'est plausible. C'est peut-être exact. Ce n'est appuyé sur aucune page de l'assureur concerné.
À « quels types de gaz médicaux proposez-vous ? », il énumère l'oxygène, l'azote et le protoxyde d'azote, plus des dispositifs de sécurité certifiés. Un catalogue produit, décrit par quelqu'un qui n'a pas lu le catalogue.
Ce n'est pas que le modèle se trompe. C'est qu'il ne se tait jamais, et que rien dans sa réponse ne distingue ce qu'il a lu de ce qu'il a supposé.
L'acheteur, lui, ne voit qu'une réponse. Elle est fluide, elle est au nom de l'entreprise, elle arrive au moment où il décide. Si elle est fausse, personne dans l'entreprise ne la verra passer, et c'est l'entreprise qui répondra de l'écart le jour où le client s'en apercevra.
Un site qui ne répond pas ne produit pas du silence. Il produit une réponse qu'il n'a pas écrite.
Parce qu'une moyenne aurait dit « les sites laissent 4,7 questions sur 6 sans réponse », ce qui est vrai et ne se retient pas. La distribution dit autre chose : il n'y a pas de bons élèves. Le meilleur site du panel laisse deux questions sans réponse, et le quart du panel les laisse toutes les six.
Nous avons appris cette prudence à nos dépens le jour même. Deux grandeurs de notre instrument ne variaient pas d'un site à l'autre, parce qu'elles étaient fixées par notre propre code, et l'une d'elles est partie en publication avant que nous nous en apercevions. Un chiffre stable inspire confiance ; c'est exactement pour cela qu'il faut lui demander d'où il vient. Nos mesures passent désormais par un contrôle qui signale toute grandeur ne prenant qu'une seule valeur sur l'ensemble du corpus.
Elle ne juge ni ces entreprises, ni leurs offres. Elle mesure ce qu'un programme qui n'exécute pas de JavaScript obtient de leurs pages, à une date donnée, sur six questions générées pour leur marché.
Elle ne dit pas que ces sites perdent des clients aujourd'hui. Elle dit qu'à la question qui décide d'un achat, la réponse existe déjà, qu'elle circule, et qu'elle ne vient pas d'eux.
Aucune entreprise n'est nommée. Les exemples de réponses cités sont reproductibles : ils viennent d'un modèle interrogé sans page, sur le nom et l'activité d'une entreprise du panel.
Nous lisons vos pages comme le fait un robot d'assistant, nous posons les questions de votre marché, et nous vous montrons ce qu'une IA répond à votre place.