« Si je déclare une nouvelle valeur aujourd'hui, dans combien de temps un assistant la donnera-t-il ? » Nous n'avons pas la réponse, personne ne l'a publiée, et nous refusons de l'estimer au doigt mouillé. Voici comment nous allons la mesurer.
La question revient dans à peu près chaque conversation commerciale, et elle est parfaitement légitime : combien de temps sépare la publication d'un fait du moment où un assistant le restitue ?
Les réponses qui circulent vont de « quelques heures » à « la prochaine version du modèle », c'est-à-dire de un à cent quatre-vingts jours. Personne ne cite de mesure. Nous n'en avons pas trouvé de publiée, en français ou en anglais, qui soit reproductible.
Quand un assistant donne un fait, il peut le tenir de trois endroits différents, et ils n'ont pas du tout les mêmes délais.
Sa mémoire d'entraînement. Figée à la date de constitution du corpus, elle ne bouge qu'à la version suivante du modèle. Délai : des mois, et il ne dépend pas de vous.
Sa recherche à la volée. L'assistant va chercher une page au moment de la question. Délai : le temps qu'un moteur connaisse l'adresse, ce qui est un autre problème, et un vrai.
Le cache de son fournisseur. Une page déjà récupérée peut être servie sans nouvel appel au serveur. C'est la partie la moins documentée, et celle qui fausse le plus les mesures naïves : on croit mesurer un modèle, on mesure une durée de conservation.
Une mesure honnête doit donc séparer ces trois chemins, ou au minimum dire lequel elle observe.
Le dernier point du quatrième bloc est celui auquel nous tenons le plus. En croisant le journal du serveur avec la date de bascule des réponses, on ne mesure plus seulement combien de temps, mais on voit ce qui s'est passé entre les deux : quel robot est passé, quand, sur quelle adresse. C'est la différence entre un délai constaté et une explication.
Un fait trop plausible. Si la valeur choisie est devinable, un modèle la produira sans l'avoir apprise, et nous mesurerons sa capacité à deviner. Le fait témoin doit être arbitraire.
Un fait invraisemblable. À l'inverse, une valeur absurde déclenche la prudence des modèles, qui refusent de répondre ou entourent leur réponse de réserves. Nous mesurerions alors leur politique de sécurité.
Un fait déjà présent ailleurs. Si la valeur existe sur un autre site, nous mesurons la vitesse d'indexation d'un moteur de recherche, ce qui est un sujet connu et sans intérêt ici.
Il reste une limite que nous ne savons pas lever, et nous la posons dès maintenant : un délai mesuré sur un domaine récent ne vaut pas pour un domaine installé. Un site que les moteurs connaissent depuis dix ans est visité plus souvent, donc probablement plus vite. Notre mesure donnera donc plutôt une borne haute, et nous le rappellerons en publiant.
Trois issues sont possibles, et deux d'entre elles ne nous arrangent pas.
Le fait ressort en quelques jours dans le régime avec recherche web : le dispositif fait ce que nous disons, et nous aurons un chiffre à donner au lieu d'une promesse. Le fait ne ressort que dans un régime, ou que chez un modèle sur quatre : c'est le résultat le plus probable, et il oblige à parler de couverture plutôt que de délai. Le fait ne ressort nulle part en douze semaines : nous le publierons aussi, et cela dira quelque chose d'important sur ce qu'une couche déclarative peut et ne peut pas faire seule.
Un protocole publié après les résultats se choisit en fonction des résultats. On garde le modèle qui a bien voulu répondre, la fenêtre où la courbe monte, le régime qui flatte. Personne n'y voit rien, et le chiffre obtenu est invérifiable.
En le publiant d'abord, nous nous privons de cette latitude : la date de départ, les modèles, la question et la durée sont écrits, et n'importe qui pourra nous les opposer à la publication. C'est aussi la seule façon de rendre la mesure refaisable par quelqu'un d'autre, sur son propre domaine.
Les résultats paraîtront à l'automne, dans un article qui portera le même titre que celui-ci, sans le mot « protocole ».
Ce que nous savons déjà mesurer, chez vous : ce qu'un assistant répond aujourd'hui à vos questions commerciales, et quels robots lisent vos pages. Sans accès à vos systèmes, et sans une ligne modifiée sur votre site.
Nous lisons vos pages comme le fait un robot d'assistant, nous posons les questions de votre marché, et nous vous montrons ce qu'une IA répond à votre place.