Classements d’IA : Seq@K mesure ce que les palmarès ignorent

Quand un palmarès désigne le « meilleur » modèle d’IA, il note le plus souvent une réponse isolée. Au bureau, personne ne travaille ainsi : on corrige, on relance, on précise. Une prépublication, Seq@K, propose de mesurer ce que les classements laissent de côté : la capacité d’un modèle à s’améliorer après un retour.

Ce que les classements mesurent aujourd’hui

En jeu pour vous : le choix d’un outil d’IA repose souvent sur un classement. Si celui-ci ne mesure pas votre façon de travailler, il peut vous orienter vers un mauvais outil.

Selon les auteurs, la communauté classe surtout les modèles avec des métriques comme Pass@1 ou Pass@K. Pass@1 regarde si la première réponse est juste. Pass@K regarde si, sur K tentatives (K, un nombre d’essais fixé à l’avance), au moins une est correcte. Imaginez un élève à qui l’on pose dix fois la même question, sans jamais lui dire qu’il s’est trompé : on retient s’il tombe juste au moins une fois.

Les auteurs relèvent le défaut de ces mesures : elles ne captent pas la manière dont un modèle utilise les retours sur ses essais précédents. Or, soulignent-ils, les modèles de langage se distinguent des anciens systèmes intelligents par leur capacité à apprendre du langage naturel « en contexte », c’est-à-dire pendant la conversation, sans être réentraînés. Ils peuvent donc affiner leur réponse quand on leur dit ce qui ne va pas, un mode de fonctionnement courant dans les « agents », ces systèmes d’IA qui enchaînent plusieurs étapes pour accomplir une tâche.

En clair : les palmarès actuels notent des tirages indépendants, alors que l’usage réel ressemble à une conversation.

Seq@K : un retour après chaque échec

En jeu pour vous : savoir comment on pourrait mesurer ce qui vous importe vraiment, c’est-à-dire la capacité de l’IA à rectifier le tir.

Seq@K est un protocole d’évaluation. Il mesure si un modèle résout un problème en au plus K tentatives successives, avec un retour fourni après chaque échec. La différence avec Pass@K est nette : dans Pass@K, les essais sont indépendants et le modèle ne sait rien de ses erreurs ; dans Seq@K, chaque essai peut s’appuyer sur le retour reçu après l’échec précédent.

Les auteurs précisent ce que Seq@K n’est pas. Ce n’est pas un test de plus sur la planification à long terme, comme certains bancs d’essai « multi-tours » pour agents. Seq@K isole une seule compétence, l’affinage à partir d’un retour, et cherche à la formaliser.

En clair : on ne demande plus « le modèle trouve-t-il la bonne réponse ? », mais « le modèle comprend-il ce qu’on lui reproche et corrige-t-il ? ».

Ce que les auteurs observent

En jeu pour vous : savoir si ce changement de méthode modifie réellement le verdict sur les modèles.

Les chercheurs ont appliqué Seq@K à 7 jeux d’épreuves et 16 modèles dits « de pointe ». Ils concluent que Seq@K dessine un paysage de choix « sensiblement différent ». Trois constats ressortent du résumé de l’article :

• Les classements changent souvent. L’ordre des modèles sous Seq@K diffère fréquemment de celui obtenu avec Pass@K.
• Les compromis évoluent. La « frontière de Pareto », qui regroupe les configurations qu’on ne peut pas améliorer sur un critère sans en sacrifier un autre, contient des configurations plus efficaces. Le résumé ne détaille pas quels critères sont mis en balance.
• L’intérêt de bien choisir varie. Le gain à retenir la meilleure configuration peut s’élargir ou se réduire par rapport à ce que montre Pass@K.

Les auteurs analysent aussi les trajectoires des modèles, c’est-à-dire le déroulé de leurs essais successifs. Cela permet de caractériser leur comportement d’affinage : à quelle vitesse ils traitent les problèmes soulevés dans le retour, ou avec quelle rigidité ils s’accrochent à leur propre réponse. Un modèle qui reçoit une critique et répète la même erreur n’a pas le même profil qu’un modèle qui la prend en compte, même si leurs scores au premier essai sont identiques.

Enfin, la nature du retour compte. Selon l’étude, les praticiens doivent concevoir et tester avec soin les boucles de retour de leurs systèmes itératifs. Autrement dit, la façon dont on formule la critique influence le résultat, et pas seulement le modèle choisi.

La conclusion des auteurs : Seq@K offrirait une mesure plus fidèle pour les systèmes qui fonctionnent en boucle de retour, et il faudrait la prendre en compte pour évaluer les modèles destinés à ces usages. Classer avec des métriques ponctuelles peut, selon eux, donner une image incomplète de l’utilité d’un modèle.

Ce que cela change pour un salarié ou un indépendant

En jeu pour vous : l’outil que vous payez ou adoptez doit servir votre manière de travailler, pas celle d’un test de laboratoire.

Vous rédigez un rapport avec un assistant, vous lui signalez une erreur de chiffre, vous demandez une reformulation, vous recommencez. Ce scénario est celui de Seq@K, pas celui de Pass@1. Deux modèles proches au premier jet peuvent se séparer au troisième échange : l’un intègre votre remarque, l’autre répète sa version initiale avec d’autres mots.

Ce constat reste une extrapolation à partir de l’article : l’étude teste des problèmes et des retours précis, pas votre quotidien. Mais l’idée se transpose facilement en méthode pratique. Avant d’adopter un outil, vous pouvez le tester sur une tâche réelle, lui donner un retour précis, puis observer trois choses : prend-il en compte la critique, corrige-t-il sans casser le reste, évite-t-il de camper sur sa première réponse ?

Le résumé de l’article ne nomme pas les 16 modèles évalués : impossible d’en tirer un gagnant entre laboratoires américains et chinois. La question utile est ailleurs : un classement qui ne mesure pas l’affinage peut-il trancher entre deux outils que vous utiliserez en dialogue ?

Les limites à garder en tête

En jeu pour vous : ne pas remplacer une certitude par une autre.

Seq@K est une prépublication déposée sur arXiv, une plateforme où les chercheurs publient avant la relecture par leurs pairs. Aucun comité d’experts indépendants n’a encore validé la méthode ni les résultats. C’est une proposition, pas un nouveau standard.

Plusieurs questions restent ouvertes, à la lecture du seul résumé. Le retour fourni après chaque échec reflète-t-il celui d’un utilisateur humain, souvent vague ou contradictoire ? Les résultats tiennent-ils sur d’autres tâches que ces 7 jeux d’épreuves ? D’autres équipes obtiendront-elles les mêmes changements de classement ? Et un modèle excellent en boucle de retour l’est-il aussi quand on ne peut pas le corriger, par exemple dans une tâche automatique sans humain ?

Les auteurs insistent d’ailleurs sur un point utile : la conception de la boucle de retour pèse sur le résultat. Le meilleur modèle sur le papier ne suffit donc pas. Si vous déployez une IA dans un processus, tester la façon dont on lui parle de ses erreurs fait partie du travail d’évaluation.

Sources

• Seq@K: Evaluating Language Models Under Sequential Feedback (arXiv:2610.37859)