Agents IA au bureau : le même modèle réussit ou non selon l’outil qui le pilote
kw-bench fait reconstruire cinq ans de TVA sur trois générations de SAP : deux agents de labo à zéro hors de leur modèle, quasi 100 % avec Opus 5.5.
Les agents de codage sortent des terminaux de développeurs pour s’inviter dans le travail de bureau. Un nouveau benchmark, kw-bench, les met face à une tâche d’investigation réelle. Résultat : avec un modèle modeste, deux agents de grands labos échouent complètement ; avec un modèle de pointe, la tâche est quasi résolue en une demi-heure.
Attention : il s’agit d’une prépublication, pas d’un verdict définitif. Voyons ce qu’elle montre, et ce qu’elle ne dit pas.
Un benchmark construit sur de vraies missions
Le papier, intitulé kw-bench: Breaking Frontier Harnesses on Real-World Tasks, part d’un constat des auteurs. Un modèle d’IA placé dans un « harnais » peut accomplir des tâches de plus en plus difficiles. Un harnais, c’est une boucle de travail, un accès à un terminal (shell), un système de fichiers et la possibilité d’écrire et d’exécuter son propre code.
Selon les auteurs, un nombre croissant de travaux traitent ce harnais d’agent de codage comme une infrastructure pour le travail intellectuel, et pas seulement pour programmer. De nouveaux benchmarks testent cet usage. Mais la plupart sont « génératifs » : construire un modèle financier, une note ou un tableur à partir d’un brief, noté par une grille ou par un autre modèle d’IA.
kw-bench vise autre chose : la partie « investigative » du travail intellectuel, celle qui coûte cher. Les auteurs citent l’audit, la fiscalité, l’audit d’acquisition (la vérification d’une entreprise avant son rachat), les déclarations réglementaires, les sinistres ou tout litige sur des chiffres. Dans ces métiers, la réponse existe déjà. Elle est cachée dans des preuves incomplètes et incohérentes, réparties entre plusieurs systèmes. Il faut la retrouver et la défendre « au centime près ».
Le benchmark est bâti à partir de missions réelles décrites aux auteurs par des spécialistes.
La tâche : cinq ans de TVA dans trois générations de SAP
La première famille de tâches est une reconstitution de la TVA sur cinq ans, à travers trois générations du progiciel SAP : un ECC ancien, une migration partielle vers S/4HANA et une refonte conçue par un consultant.
Les données arrivent sous forme d’extractions brutes de ces systèmes : en-têtes de page, formats de nombres locaux, tables de liaison partielles. Aucune documentation n’explique comment les éléments se relient entre eux.
La notation est déterministe, sans « juge » IA : le score est calculé automatiquement par comparaison avec la réponse attendue. Cela distingue ce benchmark des évaluations où un modèle note le travail d’un autre. Le score reflète l’exactitude du résultat, pas l’impression qu’il donne.
Quand le harnais du labo ne suit pas
Les auteurs ont fait tourner quatre harnais pendant deux heures : Claude Code, Codex, OpenCode et micro-cc. Tous utilisaient le même modèle, DeepSeek v4.1 Flash.
Les scores rapportés dans le résumé du papier :
- OpenCode : 0,542 ;
- micro-cc : 0,528 ;
- Claude Code : 0,00 ;
- Codex : 0,00.
OpenCode et micro-cc sont décrits comme des harnais indépendants, compatibles avec plusieurs modèles. Les deux autres sont des harnais de labos, testés loin de leur modèle d’origine. Ils n’ont « rien livré ». Selon les auteurs, ce qui les a mis en échec est l’inertie : la difficulté à garder en vie de nombreux signaux faibles tout au long d’une longue session.
Prudence sur la lecture. Le test ne dit pas que Claude Code ou Codex sont mauvais en général. Il montre que, dans cette configuration précise (un autre modèle, une tâche, deux heures), les harnais indépendants ont livré et pas les harnais de labos. Le résumé avance l’inertie comme explication, sans détailler pourquoi elle frappe ces deux harnais et pas les autres. On ne peut pas non plus conclure que ces agents échoueraient sur leur propre modèle.
À la frontière, la tâche s’effondre
Le second résultat tempère le premier. Sur un modèle de pointe, Claude Opus 5.5, micro-cc obtient 0,9986 et Claude Code 1,000. Ils y mettent respectivement 22 et 25 minutes.
Les auteurs en tirent une formule : une mission qui prenait des semaines coûte désormais « des minutes et quelques dollars ». Ils ajoutent qu’en dessous de la frontière, c’est le harnais qui décide jusqu’où un modèle peut aller.
Deux nuances s’imposent. D’abord, ce sont les conclusions des auteurs sur leur propre benchmark. Rien dans le résumé ne permet de les généraliser à d’autres tâches. Ensuite, une seule famille de tâches y est présentée. Un score de 1,000 sur un problème de TVA dans SAP ne dit pas ce que donnerait un audit dans un autre contexte.
Ce que cela change pour une PME ou un indépendant
Ce qui suit est une lecture du papier, pas une recommandation des auteurs.
Le choix du modèle pèse lourd. Dans ces résultats, le même type de tâche passe de zéro à quasi 100 % selon le modèle et le harnais. Un agent essayé avec un modèle économique ne dit pas grand-chose de ce que ferait un modèle de pointe, et inversement.
Le périmètre compte. La tâche testée a une réponse unique, vérifiable au centime près. C’est ce qui permet une notation automatique. Beaucoup de tâches de bureau n’ont pas de réponse aussi nette : rédiger, arbitrer, négocier. Là, les scores de kw-bench ne disent rien.
La vérification humaine reste une question ouverte. Les auteurs notent que le résultat doit être « défendu au centime près ». Si un agent livre un chiffre en 25 minutes, qui le contrôle, avec quels outils, et en combien de temps ? Le papier ne répond pas à cette question dans son résumé.
Le coût est annoncé, pas audité ici. « Quelques dollars » est la formule des auteurs. Elle ne comprend pas le temps de préparation des données, ni celui de relecture.
Un travail à relire avec recul
Le texte est une prépublication déposée sur arXiv, la plateforme où les chercheurs diffusent leurs travaux avant relecture par les pairs. Il compte 26 pages, 8 figures et 5 tableaux, avec code et tâches annoncés comme publics. Il n’a pas été évalué par des pairs à ce stade, et cet article s’appuie uniquement sur son résumé.
Pour un lecteur qui envisage de déléguer à un agent, la démarche la plus solide est celle du benchmark : choisir une tâche dont le résultat est vérifiable, la confier à l’agent, puis comparer sa réponse à celle d’un collègue ou d’un comptable. Et se demander ensuite si la réponse était juste, pas seulement si elle paraissait convaincante.
Sources
Pour aller plus loin Dossier : Les agents IADossier : Quelle IA choisir ?
