Agents IA : l’outil autour du modèle pèse jusqu’à huit points

Claude, GPT ou Gemini : on choisit souvent un agent IA d’après le nom du modèle qui le fait tourner. Or, selon ActuIA, l’environnement qui entoure ce modèle, appelé « harnais », fait varier les résultats de plusieurs points, jusqu’à 8,1 pour un même modèle sur un test de référence. Que vaut un score quand on ignore le harnais qui l’a produit ?

Le harnais, c’est l’atelier autour de l’artisan

En jeu : savoir ce que l’on achète vraiment quand on prend un « agent » plutôt qu’un simple chatbot.

Un modèle de langage seul ne produit que du texte. Pour qu’il travaille (lire des fichiers, lancer des commandes, corriger un logiciel), un programme doit l’entourer : le harnais. Anthropic le décrit comme « la boucle qui appelle Claude et achemine ses appels d’outils vers l’infrastructure concernée », dans un billet d’ingénierie du 8 avril 2026.

ActuIA y distingue sept composants :

• la boucle, qui appelle le modèle, exécute ses demandes d’outils et décide quand s’arrêter ;
• les consignes, qui fixent le rôle, les règles et la méthode ;
• les outils, avec ce que l’agent peut faire seul et ce qui exige un accord humain ;
• la gestion du contexte, c’est-à-dire de ce qui reste dans la « mémoire de travail » du modèle (résumés, notes, fichiers de progression) ;
• les sous-agents, qui traitent une sous-tâche à part et n’en rapportent qu’un résumé ;
• les vérifications, qui testent le travail avant de le rendre ;
• l’espace isolé, qui borne les fichiers accessibles et les serveurs joignables.

En clair : le modèle est l’artisan, le harnais est l’atelier avec ses procédures et son contrôle qualité. Deux artisans identiques ne produisent pas la même chose dans deux ateliers différents.

Ce composant se vend d’ailleurs seul. Le Claude Agent SDK, une boîte à outils pour programmeurs, livre « les mêmes outils, la même boucle d’agent et la même gestion du contexte que Claude Code ». Anthropic loue aussi un harnais hébergé, Managed Agents.

Un même modèle, des scores qui bougent

En jeu : l’ampleur de l’écart, et ce qu’il représente dans un classement.

Premier cas : Terminal-Bench 2.1, un test de 89 tâches où l’agent travaille en ligne de commande, c’est-à-dire en tapant des instructions dans une fenêtre de texte. Gemini 3 Pro y réussit 65,8 % des tâches avec Gemini CLI, l’agent (un programme à piloter en ligne de commande) que Google publie pour ses modèles. Avec Terminus 2, un programme minimal écrit par les auteurs du test et doté d’un seul outil, un terminal, il monte à 73,9 %. L’écart est de 8,1 points. Le classement, hébergé par Snorkel AI, affiche une variation d’une exécution à l’autre de 1,3 et 1,4 point : l’écart dépasse donc largement le hasard.

Pour situer : dans ce même classement, Claude Opus 4.7 devance Gemini 3 Pro de 3,1 points (68,9 % contre 65,8 %) dans les harnais des éditeurs. L’écart dû au harnais est plus de deux fois supérieur.

Deuxième cas : LangChain, une entreprise qui édite des outils pour agents. Son agent deepagents-cli, un programme en ligne de commande, est passé de 52,8 % à 66,5 % sur Terminal-Bench 2.0, soit 13,7 points. Son billet du 17 février 2026 l’écrit : « Nous n’avons retouché que le harnais et gardé le modèle fixe, gpt-5.2-codex. » Le gain vient de la consigne système, des outils, d’une vérification imposée avant la sortie, d’un compteur qui force l’agent à changer de méthode quand il retouche trop souvent le même fichier, et d’un dosage de l’effort de raisonnement. C’est un cas particulier : un harnais amélioré par ses propres auteurs, face à sa version initiale.

Troisième cas : une étude de Tulane, Rutgers et Virginia Tech, publiée le 7 mai 2026. Les chercheurs ont croisé trois modèles (GPT-5.4, Kimi K2.6, GLM-5.1) avec trois harnais de complexité croissante, sur 100 tâches de SWE-bench Verified, un test de correction de logiciels. Changer de harnais déplace le score de 8,5 à 13 points ; changer de modèle, de 2,5 à 5 points. Réserve : chaque case est la moyenne de deux exécutions seulement, sans marge d’erreur publiée.

Quand le harnais inverse le classement

En jeu : savoir si le « meilleur modèle » l’est vraiment pour son usage.

Dans l’étude de Tulane, six comparaisons de modèles sur neuf s’inversent d’un harnais à l’autre. Terminal-Bench 2.1 en donne un exemple : Claude Opus 4.7 devance Gemini 3 Pro dans les harnais des éditeurs, puis passe derrière lui dans Terminus 2.

Le harnais de l’éditeur n’est pas toujours le meilleur pour son propre modèle. Il l’emporte de 5,1 points pour GPT-5.5 dans Codex CLI et de 3,4 points pour Claude Fable 5 dans Claude Code. Pour Claude Opus 4.7, l’avantage est de 2,8 points, à la limite de la marge d’erreur. Il perd 8,1 points avec Gemini 3 Pro et fait jeu égal avec Gemini 3.1 Pro. Terminal-Bench 2.1 ne précise pas les réglages de chaque soumission, ce qui limite la lecture.

Tout n’est pas aussi net. Sur SWE-bench Pro, l’effet est plus mince. Claude Opus 4.5 y obtient 45,9 % dans SWE-Agent, le harnais du classement SEAL de Scale AI, à 3,6 points près. Augment Code le mesure à 49,75 % dans Claude Code et à 51,8 % dans son propre agent, Auggie, sur les mêmes 731 tâches : cet écart reste dans la marge de Scale.

Les auteurs de Terminal-Bench restent prudents. Leur article du 17 janvier 2026 estime que « le choix du modèle importe généralement plus que l’échafaudage de l’agent », sur un classement qui va de 63 % à environ 15 % pour les petits modèles. Les deux lectures se concilient : d’une génération à l’autre, le modèle domine. Entre modèles de niveau comparable, ceux qu’une entreprise met réellement en concurrence, le harnais peut suffire à changer l’ordre. Claude Fable 5 et GPT-5.5, en tête de Terminal-Bench 2.1, gardent d’ailleurs le même ordre dans les deux harnais.

La facture et les droits : ce que le score ne dit pas

En jeu : ce que l’agent coûtera, et ce qu’il pourra faire sans demander.

Une API, c’est-à-dire l’accès payant au modèle par programme, facture à chaque appel tout le contexte transmis. Une session d’agent renvoie son historique à chaque tour. Michael Bolin, d’OpenAI, reconnaît dans un billet du 23 janvier 2026 que le volume envoyé par Codex croît de façon quadratique : il grossit de plus en plus vite avec la longueur de la session. Un cache atténue la dépense, avec une remise de 95 % sur les tokens relus (un token est un fragment de mot) chez Claude Opus 5.5 comme chez GPT-6.1 Sol. Un harnais qui réécrit le début de sa requête en cours de session perd cette remise.

Le choix des outils pèse autant. En novembre 2025, Anthropic chiffrait à 150 000 tokens la dépense d’un agent qui charge d’emblée la définition de tous ses outils, contre 2 000 quand il les appelle depuis du code. Vercel a retiré 80 % des outils de d0, son agent qui traduit des questions en SQL (le langage qui interroge les bases de données). Sur cinq requêtes avec Claude Opus 4.5, la consommation moyenne est passée d’environ 102 000 à 61 000 tokens, et la réussite de quatre à cinq requêtes sur cinq. Cinq requêtes ne font pas une statistique, précise ActuIA.

Les abonnements suivent la même règle. En doublant le 29 octobre les quotas Codex de ses forfaits Pro, OpenAI a précisé que la consommation varie avec le modèle, la tâche et les réglages : un quota doublé ne double pas le nombre de tâches, selon The Decoder et ActuIA.

Le harnais fixe aussi les limites de l’agent. Un préprint, ToFu, daté du 9 octobre 2026, a testé LangGraph, une bibliothèque qui sert à assembler des agents, avec un petit modèle local. Le modèle émet un appel à un outil factice nommé launch_missiles, que LangGraph exécute sans contrôle ; le modèle rédige son refus ensuite. En clair : si le harnais ne bloque pas l’action, le refus du modèle arrive après coup.

Que regarder avant de choisir un agent ?

En jeu : une décision d’achat ou d’abonnement pour une PME, un indépendant ou un salarié.

Ces mesures ne disent pas que le modèle n’a pas d’importance. Elles disent qu’un score publié décrit un couple modèle plus harnais. Quand un laboratoire annonce un chiffre, la question se pose : mesure-t-il le modèle, ou l’atelier construit autour ?

Quelques pistes, tirées de ce qui précède :

• juger l’outil complet, pas le nom du modèle : le même modèle donne des résultats différents selon l’agent qui le pilote ;
• tester sur ses propres tâches, avec quelques cas réels et répétés, car de petits échantillons laissent beaucoup de place au hasard ;
• relever le coût d’une tâche entière, pas seulement le prix du token ;
• vérifier ce que l’agent peut faire sans accord humain et dans quel espace il travaille ;
• relire les classements en cherchant le harnais utilisé et la marge d’erreur affichée.

Une question reste ouverte : les classements que l’on cite le plus précisent-ils les réglages de chaque soumission ? Terminal-Bench 2.1 ne le fait pas. À tester soi-même : prendre deux agents qui utilisent le même modèle, leur donner la même tâche réelle, puis comparer le résultat, le temps et le coût.

Sources

• Agents d’IA : jusqu’à huit points d’écart pour un même modèle selon le harnais — ActuIA