Analyse
Arbitrage humain : les six « inventions » étaient imprimées sur la page
Le comparateur avait compté six hallucinations sur nos deux benchmarks. Un humain a ouvert les six documents : chaque valeur y figure, elle ne répond simplement pas à la question. Les six réponses restent fausses, et plus aucun modèle n'est compté comme inventeur.
Nos deux classements affichaient un taux d'hallucinations non nul pour cinq modèles. Sur les factures, Kimi K3, Llama 4 Maverick et Mistral Medium 3.5 donnaient un numéro de TVA à des factures américaines qui n'en portent pas. Sur les rapports financiers, Nova Pro et Nova Lite nommaient un titre là où l'analyste répond « il n'y en a pas ».
Ces verdicts venaient du comparateur, et le protocole prévoit qu'un humain les relise. C'est fait depuis le 9 octobre, document ouvert.
Ce que portent les pages :
- Factures : le « numéro de TVA » donné par les trois modèles est imprimé sur la facture. C'est l'identifiant fiscal fédéral de la chaîne de télévision, noté « FIIY # » sur l'une et « TIN » sur l'autre.
- American Express : à la question « quels titres de dette sont cotés ? », Nova Pro et Nova Lite répondent « Common Shares », la seule ligne du tableau des titres cotés. Ce sont des actions, pas de la dette.
- Ulta Beauty : à la même question, Nova Pro répond « The Nasdaq Global Select Market », le nom de la bourse, imprimé sur la même ligne.
Aucune de ces six valeurs n'est inventée. Toutes sont fausses : le modèle a pris sur la page autre chose que ce qu'on lui demandait. Nous les comptons désormais ainsi. Les scores d'exactitude ne bougent pas, puisqu'une réponse fausse et une réponse inventée valent zéro l'une comme l'autre. Le taux d'hallucinations, lui, passe à zéro pour les vingt-sept modèles sur les deux tests.
Zéro ne veut pas dire que ces modèles n'inventent jamais. Le test finance ne compte que trois questions dont la bonne réponse est « il n'y en a pas », et les factures un seul champ absent.
Ce que nous avions écrit de faux : que trois modèles « inventent un numéro de TVA qui n'existe pas », et que deux autres « fabriquent » une réponse. Les deux articles concernés sont corrigés, et la correction y est datée.
La leçon de méthode : un comparateur sait qu'une valeur a été donnée là où la référence dit « rien ». Il ne sait pas si cette valeur est sur la page. Un verdict « halluciné » sorti du code est donc une présomption, que seul un humain qui ouvre le document peut confirmer.
L'arbitrage a aussi confirmé les réponses acceptées malgré un écart d'écriture avec la référence : « 5.43 » pour « 5.4 », « Net cash provided by operating activities » pour « operations ». Il n'a pas porté sur le contrôle au hasard des réponses identiques à la référence, qui reste à faire.