Robots : Zhiyuan revendique sept premières places, l’usine est un autre examen
Selon QbitAI, AgiBot dit placer deux modèles en tête de sept classements. Ce que mesurent ces tests, ce qu’ils ignorent, et ce que cela change pour une PME.
Thème : benchmarks
-
-
Agents IA : l’outil autour du modèle pèse jusqu’à huit points
À modèle identique, le harnais d’un agent IA peut changer le score de plusieurs points, jusqu’à 13,7 dans un cas. Que valent les classements ?
-
Classements d’IA : Seq@K mesure ce que les palmarès ignorent
Les palmarès d’IA notent le premier jet. Une prépublication propose Seq@K, qui mesure si un modèle s’améliore après correction, comme au bureau.
-
Mistral Large 4 perd 13 points sur un indice dont 60 % des tests sont secrets
L’indice Artificial Analysis v5 fait chuter Mistral Large 4 de 38 à 25 points, mais pas Claude. Vrai recul de l’IA ouverte ou tests secrets invérifiables ?
-
Agents IA au bureau : le même modèle réussit ou non selon l’outil qui le pilote
kw-bench fait reconstruire cinq ans de TVA sur trois générations de SAP : deux agents de labo à zéro hors de leur modèle, quasi 100 % avec Opus 5.5.
-
AllenAI : changer quelques mots du prompt fait chuter GPT-5.4 de 93,5 % à 40,9 %
AllenAI a testé six LLM comme juges de nouveauté sur des idées de recherche : un prompt reformulé fait chuter la précision de 93,5 % à 40,9 %.
-
OpenAI avoue qu’aucun score ne suffit pour choisir son modèle
Pour Ted Sanders (OpenAI), taille, raisonnement et multi-agents sont des dimensions distinctes : un score unique ne dit pas quel modèle choisir pour vous.