Aller au contenu
WorkBench.ai
Flowera

Protocole exécutableSur documents

Lecture de factures publicitaires

Combien de factures un modèle lit-il sans qu'un humain ait à corriger ?

Mis à jour le 5 octobre 2026 · Run 2026-09-27_facture-fcc+2026-10-02_facture-fcc+2026-10-04_facture-fcc+2026-10-05_facture-fcc · 27 modèles · 100 factures

Lecture de factures publicitairesExactitude × coût par test

Chaque carré est un modèle, à la couleur et au monogramme de son labo. Cliquez pour ouvrir sa fiche.

À retenir

  • GPT-6 Luna prend la tête avec 100,0 % d'exactitude, devant DeepSeek V4.1 Flash (100,0 %) et Command A+ (100,0 %).
  • Meilleur rapport précision-prix : Gemma 4 31B, à 0,7 point(s) du premier pour 0,0003 $ par facture — 3,4 fois moins cher.
  • 24 modèles sur 27 n'inventent rien : 0 % d'hallucinations.
  • Le champ le plus difficile : « Montant total facturé », réussi à 97,0 % en moyenne sur l'ensemble des modèles.

Quel modèle choisir

Si la précision prime

GPT-6 Luna

100,0 % d'exactitude

Si le volume compte

Gemma 4 31B

0,0003 $ par facture

Si l'erreur coûte cher

GPT-6 Luna

0,0 % d'éléments inventés

Le classement

Cliquez un en-tête pour reclasser. L'exactitude ordonne le tableau ; les autres mesures ne s'y fondent jamais.

Lecture de factures publicitairesComptabilité

RangModèle (27)
1GPT-6 Luna100,0 %±0,00,0 %0,0009 $
2DeepSeek V4.1 Flash100,0 %±0,00,0 %0,0025 $
3Command A+100,0 %±0,00,0 %0,0060 $
4Kimi K2.6100,0 %±0,00,0 %0,013 $
5Muse Spark 1.3100,0 %±0,00,0 %0,013 $
6Kimi K399,8 %±0,71,0 %0,021 $
7Gemma 4 31B99,3 %±1,20,0 %0,0003 $
8Qwen3.7 Flash99,3 %±1,20,0 %0,0005 $
9Ministral 3 8B 251299,3 %±1,20,0 %0,0010 $
10GLM 5.3 Flash99,3 %±1,20,0 %0,0012 $
11Gemini 3.5 Flash Lite99,3 %±1,20,0 %0,0015 $
12Qwen3.8 27B99,3 %±1,20,0 %0,0036 $
13Gemini 3.8 Flash99,3 %±1,20,0 %0,0070 $
14Claude Sonnet 599,3 %±1,20,0 %0,015 $
15Qwen3.8 Max (0902)99,3 %±1,20,0 %0,020 $

Ce que mesure ce benchmark

De vraies factures d'achat d'espace publicitaire télévisé, déposées auprès du régulateur américain des télécoms et annotées à la main par des journalistes. Le modèle reçoit les pages scannées et doit rendre deux choses : le montant total facturé, et le numéro de TVA — ce dernier absent de ces documents, pour voir qui invente plutôt que de s'abstenir. Chaque réponse est comparée à l'annotation d'origine par un comparateur écrit à la main : aucune IA ne note une IA.

D'où viennent les documents

Factures déposées par les chaînes de télévision américaines auprès de la Federal Communications Commission, que la loi rend publiques. Les annotations viennent de journalistes qui les ont saisies à la main pour suivre les dépenses de campagne.

Source
DeepForm — archives publiques de la FCC
Licence
MIT (outillage) · documents publics déposés auprès de la FCC
Échantillon
100 factures
Ce que reçoit le modèle
Des documents (images ou PDF)
Modèles testés
27
Protocole
Protocole exécutable
Statut des chiffres
Mesure réelle
Run
2026-09-27_facture-fcc+2026-10-02_facture-fcc+2026-10-04_facture-fcc+2026-10-05_facture-fcc

Où les modèles se départagent

La moyenne de tous les modèles sur chaque champ noté, du mieux maîtrisé au plus difficile, et le meilleur modèle sur chacun.

L'état de l'art au fil des runs

Le meilleur score mesuré à chaque run, et le nombre de modèles alors en lice.

Exactitude
90 %93 %95 %98 %100 %100,0 %oct. 2627 modèles100,0 %oct. 2627 modèles100,0 %oct. 2627 modèles

Les documents qui départagent

Ces factures sont réelles : aucune difficulté n'y a été placée. Ce sont celles sur lesquelles les modèles se sont le plus contredits. Voici la page, l'annotation d'origine, et ce que chaque modèle a répondu — de quoi juger la notation sans nous croire sur parole.

Montant total facturé

13 modèles sur 27 se sont trompés · champ : Montant total facturé
Facture de test 9ed3362a-84b4-1d8e-7aab-1ed898008b16
6 pages scannées · 9ed3362a-84b4-1d8e-7aab-1ed898008b16
Annotation d'origine
6414
Nova Lite 1.0
6414
Nova Pro 1.0
5451.9
Claude Fable 5.1
9347
Claude Opus 5.5
9347
Claude Sonnet 5
6414
Command A+
6414
DeepSeek V4.1 Flash
6414
Gemini 3.5 Flash Lite
6414
Gemini 3.8 Flash
9347
Gemma 4 31B
6414
Llama 4 Maverick
6414
Muse Spark 1.3
6414
Ministral 3 8B 2512
6414
Mistral Large 3 2512
5451.9
Mistral Medium 3.5
6414
Mistral Small 4
6414
Kimi K2.6
6414
Kimi K3
6414
GPT-6 Astra
9347
GPT-6 Luna
6414
GPT-6 Sol
9347
Qwen3.7 Flash
9347
Qwen3.8 27B
9347
Qwen3.8 Max (0902)
9347
Qwen3.8 Max Prime
9347
Grok 4.7
rien — le modèle s'abstient
GLM 5.3 Flash
9347

Montant total facturé

9 modèles sur 27 se sont trompés · champ : Montant total facturé
Facture de test 93cd08d3-28b1-31c0-8902-4060655fcb91
2 pages scannées · 93cd08d3-28b1-31c0-8902-4060655fcb91
Annotation d'origine
4720
Nova Lite 1.0
4838
Nova Pro 1.0
4012
Claude Fable 5.1
4838
Claude Opus 5.5
4720
Claude Sonnet 5
4838
Command A+
4720
DeepSeek V4.1 Flash
4720
Gemini 3.5 Flash Lite
4838
Gemini 3.8 Flash
4720
Gemma 4 31B
4720
Llama 4 Maverick
4838
Muse Spark 1.3
4720
Ministral 3 8B 2512
4720
Mistral Large 3 2512
4720
Mistral Medium 3.5
4838
Mistral Small 4
4838
Kimi K2.6
4720
Kimi K3
4720
GPT-6 Astra
4720
GPT-6 Luna
4720
GPT-6 Sol
4838
Qwen3.7 Flash
4720
Qwen3.8 27B
4720
Qwen3.8 Max (0902)
4720
Qwen3.8 Max Prime
4720
Grok 4.7
4720
GLM 5.3 Flash
4720

Montant total facturé

6 modèles sur 27 se sont trompés · champ : Montant total facturé
Facture de test 4b703aaa-2e13-528c-85f8-9bd7879d4cbb
4 pages scannées · 4b703aaa-2e13-528c-85f8-9bd7879d4cbb
Annotation d'origine
7000
Nova Lite 1.0
6500
Nova Pro 1.0
5950
Claude Fable 5.1
7000
Claude Opus 5.5
7000
Claude Sonnet 5
7000
Command A+
7000
DeepSeek V4.1 Flash
7000
Gemini 3.5 Flash Lite
7000
Gemini 3.8 Flash
7000
Gemma 4 31B
7000
Llama 4 Maverick
6500
Muse Spark 1.3
7000
Ministral 3 8B 2512
6500
Mistral Large 3 2512
6500
Mistral Medium 3.5
7000
Mistral Small 4
6500
Kimi K2.6
7000
Kimi K3
7000
GPT-6 Astra
7000
GPT-6 Luna
7000
GPT-6 Sol
7000
Qwen3.7 Flash
7000
Qwen3.8 27B
7000
Qwen3.8 Max (0902)
7000
Qwen3.8 Max Prime
7000
Grok 4.7
7000
GLM 5.3 Flash
7000

Les documents analysés

Les 100 documents du test, du plus raté au plus consensuel : l'annotation qui a servi de référence, le nombre de modèles qui l'ont retrouvée, et le lien vers l'original chez celui qui le publie. Le classement ne demande pas qu'on le croie : il se recompte.

Les documents analysés
DocumentMontant total facturé attenduModèles exactsValeur inventéeOriginal
9ed3362a641414 / 27—ouvrir
93cd08d3472018 / 27—ouvrir
4b703aaa700021 / 27—ouvrir
152629831765023 / 27—ouvrir
17bee528209524 / 27—ouvrir
3fb2b31f20925024 / 27—ouvrir
2388be1199525 / 27—ouvrir
4809552b35025 / 27—ouvrir
4e1c4012225525 / 27—ouvrir
5d56f8db1210025 / 27—ouvrir
64780ed04070025 / 27—ouvrir
7bbe366d448525 / 27—ouvrir
afa6fb202130025 / 27—ouvrir
d2bbcfb235525 / 27—ouvrir
dd623c624070025 / 27—ouvrir
03b940c21635026 / 27—ouvrir
08bea5442795026 / 27—ouvrir
0be55a7b142826 / 27—ouvrir
0e4719a3668026 / 27—ouvrir
250e73dd375526 / 27—ouvrir
26f3961b3490026 / 27—ouvrir
3f335f42654526 / 27—ouvrir
4cee59d1368526 / 27—ouvrir
59d47fbe958026 / 27—ouvrir
5b40f242536026 / 27—ouvrir
5d8fb479352626 / 27—ouvrir
703ebcab21226 / 27—ouvrir
74c779b47250026 / 27—ouvrir
97ea6a67760026 / 27—ouvrir
98905496188026 / 27—ouvrir
991a6b5e172026 / 27—ouvrir
9cc36a8344026 / 27—ouvrir
a5b12494605026 / 27—ouvrir
bc343c3862526 / 27—ouvrir
c6ec7473362526 / 27—ouvrir
d6bd95e8242526 / 27—ouvrir
d748c96419426 / 27—ouvrir
e3f3dba66026 / 27—ouvrir
f9889d44190026 / 27—ouvrir
02ccb7f221035027 / 27—ouvrir
0458e5e4212027 / 27—ouvrir
05a53fa5602527 / 27—ouvrir
0617c152746527 / 27—ouvrir
0880bc9a4473027 / 27—ouvrir
0a32ce11142527 / 27—ouvrir
11a46278826027 / 27—ouvrir
1fd3058f1149027 / 27—ouvrir
1fd7b5c94321527 / 27—ouvrir
21228dd6306027 / 27—ouvrir
296043904275027 / 27—ouvrir
2aac88c6578027 / 27—ouvrir
331ff2f32230027 / 27—ouvrir
345c9cc01550027 / 27—ouvrir
3499dd36867027 / 27—ouvrir
36ff284e225027 / 27—ouvrir
3bdbc1a7338427 / 27—ouvrir
48e3a9521468527 / 27—ouvrir
5c8edc38311027 / 27—ouvrir
5e0773ca3450027 / 27—ouvrir
627d67b52218027 / 27—ouvrir
62e6d540485027 / 27—ouvrir
6c10638e220027 / 27—ouvrir
707c944c2917527 / 27—ouvrir
73e159452870027 / 27—ouvrir
76b092d7303527 / 27—ouvrir
7b9146bb102527 / 27—ouvrir
7e00d87536027 / 27—ouvrir
805aafc61604527 / 27—ouvrir
8222d0e91009527 / 27—ouvrir
8588921b312027 / 27—ouvrir
88d79dde86527 / 272ouvrir
8b687291885027 / 27—ouvrir
8e41b95417998027 / 27—ouvrir
9215778a350027 / 27—ouvrir
9294d8b31507027 / 27—ouvrir
988878c1367527 / 27—ouvrir
a21fa4343950027 / 27—ouvrir
a24ef1d82196027 / 27—ouvrir
a7d60614482027 / 27—ouvrir
a8aaf9d51415027 / 27—ouvrir
abf2f735169027 / 27—ouvrir
b34fc957263527 / 27—ouvrir
be9e50f7620027 / 27—ouvrir
c0b67c9f5027727 / 27—ouvrir
c6974e8e23535027 / 27—ouvrir
ca356a4b47927 / 27—ouvrir
d06fd8db180027 / 27—ouvrir
d1ba92252438027 / 27—ouvrir
d297f399692527 / 27—ouvrir
d6cd4fa880027 / 27—ouvrir
da77aaa05560027 / 27—ouvrir
db47993a547027 / 27—ouvrir
e0260276445527 / 27—ouvrir
e5e2f3433220027 / 27—ouvrir
e6846bc9421527 / 27—ouvrir
e8d412047320027 / 27—ouvrir
ec8415e2121327 / 27—ouvrir
ee19ec768027 / 27—ouvrir
f56e2fc1269027 / 271ouvrir
f5871a461515027 / 27—ouvrir

Comment ces chiffres sont produits — le barème, le prompt exact, et ce que ce test ne mesure pas.