Analyse
Un chiffre inventé coûte plus cher qu'un chiffre manquant
Une case vide se voit et se complète. Un montant plausible mais faux passe la relecture. C'est pourquoi, pour le hub, répondre « rien » quand il n'y a rien est une bonne réponse.
La facture d'un graphiste en franchise en base de TVA ne porte pas de TVA. Pas de taux, pas de montant : la mention « TVA non applicable, article 293 B du CGI » en tient lieu. Demandez à un modèle le montant de TVA de cette facture. Il y a deux façons de se tromper, et elles ne se valent pas.
La première : ne rien rendre alors qu'il y avait quelque chose à lire. La case reste vide dans votre logiciel, quelqu'un la voit, ouvre la facture et la complète. Une minute de perdue.
La seconde : rendre un chiffre alors qu'il n'y avait rien. Le modèle applique 20 % au hors taxes, parce que c'est ce qu'on voit d'habitude, et l'écrit. Le montant est plausible, bien formaté, cohérent avec le reste. Personne ne le remarque. Il part en comptabilité, puis dans une déclaration de TVA.
C'est la raison pour laquelle le hub distingue trois verdicts et non deux. Un champ est juste. Ou il est faux ou manquant. Ou il est halluciné : le modèle a produit une valeur là où le document n'en contient aucune. Les hallucinations sont comptées à part — la part des champs réellement absents que le modèle a quand même remplis — et ne sont jamais fondues dans une note globale.
La conséquence est inscrite dans le jeu de test : un champ absent du document fait partie de l'épreuve. Une facture peut légitimement ne porter ni TVA, ni échéance, ni numéro de TVA intracommunautaire. Dans ces cas-là, répondre « rien » n'est pas un aveu d'échec : c'est la bonne réponse, et elle rapporte les mêmes points qu'un montant bien lu.
Le prompt envoyé aux modèles le dit en toutes lettres, avant toute autre consigne : si une information ne figure pas sur le document, ne devine pas, ne déduis pas, ne complète pas à partir de ce qui te semble habituel. Un modèle qui invente malgré cela n'a pas été piégé par une consigne ambiguë.
Le code de notation prend la même précaution dans l'autre sens. Un modèle qui écrit « non trouvé », « aucun » ou « n/a » s'abstient correctement : sa réponse est ramenée à « rien » avant d'être notée, au lieu d'être comptée comme une chaîne inventée.
Pour une entreprise, la leçon dépasse la facture. Avant de confier un document à un modèle, la question utile n'est pas seulement « lit-il bien ? », mais « que fait-il quand il n'y a rien à lire ? ».