À venirSur texte
Compte rendu de réunion
Le compte rendu attribue-t-il la bonne action à la bonne personne ?
Le protocole de ce benchmark est écrit. Aucun modèle n'a encore été interrogé, donc ce hub n'affiche aucun chiffre pour cette tâche.
Ce que ce test mesurera
Produire, à partir d'une transcription d'une heure, les décisions prises et les actions avec leur responsable et leur échéance. Une décision qui n'a pas été prise en réunion est une invention, et compte comme telle.
Ce qui sera noté
- Décisions
- Actions et responsables
- Fidélité, sans ajout
- Concision
Ce qu'il attend
Aucune référence publique ne dit quelle est la bonne réponse. Il faut une grille de notation et un arbitrage humain avant de pouvoir classer quoi que ce soit.
- Place dans la feuille de route
- Vague 3
- Jeu de données visé
- QMSum — 232 réunions transcrites et résumées par des humains ; la notation d'un résumé demande une grille
- Échantillon visé
- 40 réunions
- Ce que reçoit le modèle
- Du texte
Un métier à la fois, une tâche à la fois. Chaque vague se termine par une publication.
Aucun chiffre n'est affiché ici : il n'y en a pas. Le jour où cette tâche sera mesurée, son classement apparaîtra sur cette même page.
Comment le hub mesure — la façon de vérifier une réponse, le barème et les verdicts, sur la tâche déjà mesurée.