À venirSur texte
Du besoin métier à la requête SQL
« Le chiffre d'affaires par région ce trimestre » : la requête est-elle juste ?
Le protocole de ce benchmark est écrit. Aucun modèle n'a encore été interrogé, donc ce hub n'affiche aucun chiffre pour cette tâche.
Ce que ce test mesurera
Traduire une question métier en requête sur un schéma d'entreprise réaliste, avec ses tables mal nommées et ses dates en trois formats. La requête est exécutée : seul le résultat compte.
Ce qui sera noté
- Jointures
- Agrégations
- Dates et périodes
- Demande ambiguë
Ce qu'il attend
Un jeu public réel et annoté existe. Il reste à l'intégrer au pipeline.
- Place dans la feuille de route
- Vague 2
- Jeu de données visé
- BIRD — 12 751 questions et requêtes de référence sur 95 bases réelles, CC BY-SA 4.0
- Échantillon visé
- 70 questions
- Ce que reçoit le modèle
- Du texte
Un métier à la fois, une tâche à la fois. Chaque vague se termine par une publication.
Aucun chiffre n'est affiché ici : il n'y en a pas. Le jour où cette tâche sera mesurée, son classement apparaîtra sur cette même page.
Comment le hub mesure — la façon de vérifier une réponse, le barème et les verdicts, sur la tâche déjà mesurée.