Robot de lecture
Vous l'avez vu dans vos journaux et vous cherchez qui c'est. Cette page répond, et elle vous donne de quoi lui fermer la porte en une ligne, sans nous écrire et sans attendre de réponse.
Un lecteur d'audit, déclenché par un être humain qui a tapé une adresse dans un formulaire. Il ne tourne pas en continu et ne découvre pas de sites tout seul : sans quelqu'un pour lui donner une adresse, il ne part jamais.
Il se présente sous ce nom à chaque requête, sans jamais se faire passer pour un navigateur.
Au total, une analyse représente une douzaine de requêtes étalées sur une trentaine de secondes, une fois. Il ne repasse pas.
Une ligne dans votre robots.txt. Elle prend
effet à la lecture suivante, sans délai de propagation et sans nous
prévenir.
Deux noms, et c'est volontaire. Notre robot s'est appelé
ABI-Extractability jusqu'en août 2026. Si vous l'aviez refusé
sous cet ancien nom, ce refus vous protège toujours : nous continuons de
l'honorer, et nous ne le retirerons pas. Changer de nom pour repasser au
travers d'un refus serait un contournement, et c'est exactement ce que nous
reprochons aux autres.
Vous pouvez aussi n'en refuser qu'une partie (Disallow: /clients/) : les chemins interdits sont alors retirés de l'échantillon,
et le rapport dit combien ont été écartés plutôt que de les faire passer
pour des pages absentes.
Une réserve, parce qu'elle est réelle :
l'adresse qu'un visiteur saisit dans notre formulaire est chargée une fois
avant que votre robots.txt ne soit lu : c'est cette page qui nous dit où le trouver. Un refus s'applique donc à tout le reste de
l'analyse, jamais à cette première requête. Nous préférons l'écrire que de
laisser croire à une garantie que le code ne tient pas.
Une question, une gêne, un journal qui montre autre chose que ce qui est écrit ici ? Écrivez-nous. Un écart entre cette page et notre comportement est un défaut, et nous le traiterons comme tel.