Mistral Large 4 perd 13 points sur un indice dont 60 % des tests sont secrets

Mistral Large 4 perd 13 points d’un coup, de 38 à 25, sur le nouvel indice d’Artificial Analysis. Claude Opus 5.5, lui, reste à 58. Les modèles n’ont pas changé : ce qui a bougé, c’est la règle du jeu, et 60 % de tests que personne ne peut consulter.

Ce qui a changé dans l’indice

Artificial Analysis publie un classement très suivi des modèles d’IA. Selon ActuIA, qui a comparé l’ancienne et la nouvelle version, la version 5 repose à 60 % sur des évaluations dont les jeux de test sont privés ou dont les réponses sont tenues secrètes. L’indice compte quatre familles de poids égal (25 % chacune) : travail intellectuel, code, sciences, connaissances générales.

Quelques exemples cités par Artificial Analysis. FrontierCode 2.0, un banc d’essai de programmation lancé par Cognition, garde ses tâches privées « pour éviter la contamination ». Un sous-ensemble de 40 questions difficiles de CritPt v2, en physique, l’est aussi. AA-Omniscience v1.1 a été purgé de ses questions publiques. Trois épreuves sortent de l’indice (GDPval-AA, SciCode, AA-LCR), deux entrent (FrontierCode 2.0 et Terminal-Bench-Science), et HLE-Diamond remplace Humanity’s Last Exam.

La tendance n’est pas nouvelle. Le 4 septembre, sur X, Artificial Analysis avait déjà porté la part privée à 40 % avec la version 4.2, pour empêcher les modèles d’être optimisés en vue du classement. Il annonçait alors une hausse. En revanche, l’article de présentation ne détaille pas la composition exacte des 60 %.

Douze modèles ouverts, une seule direction

ActuIA a rapproché la page des modèles ouverts d’Artificial Analysis, encore affichée en version 4.3.2 le 28 octobre, du nouveau classement. Les onze modèles qu’elle recense perdent tous entre 12 et 16 points. Mistral Large 4, dont les poids ne sont pas encore publiés, en perd 13 : c’est le douzième.

Le meilleur modèle aux poids téléchargeables obtient désormais 32 points (DeepSeek V4.1 Flash et GLM-5.3). Dans la version précédente, MiMo-V2.6-Pro de Xiaomi, DeepSeek V4.1 Flash et GLM-5.3 dépassaient tous 44 points. Claude Opus 5.5 obtenait 58 le 23 octobre et obtient toujours 58. Claude Haiku 5.5, modèle fermé plus modeste, atteint 36.

Avec 25 points, Mistral Large 4 rejoint Muse Spark Open de Meta. Ce sont les deux modèles non chinois les mieux classés parmi ceux dont les poids sont publiés ou annoncés. DeepSeek et GLM les devancent de 7 points. Aucun autre modèle européen n’a de score en version 5 : Mistral Medium 3.5 et Mistral Small 4 n’y figurent pas.

En haut du tableau, The Decoder indique que Gemini 4 Carbon de Google DeepMind prend la première place avec 59 points, contre 50 pour Gemini 4 Argon, sorti deux semaines plus tôt. Son accès reste limité à des experts en cybersécurité sélectionnés, car il passe par le processus volontaire de pré-test du gouvernement américain. Le meilleur score de l’indice appartient donc à un modèle que presque personne ne peut utiliser.

3, 12 ou 26 points : qui est « ouvert » ?

Artificial Analysis résume la version 5 en disant que l’écart des modèles à poids ouverts « passe de 3 à 12 points ». Ce calcul prend comme meilleur modèle ouvert Kimi K3.1 Pro de Moonshot AI, à 46 points, en précisant que ses poids ne sont « pas encore publiés ». Sa fiche le classe d’ailleurs « Proprietary model ». Mistral Large 4, dans la même situation, est lui aussi classé propriétaire.

Sur les seuls poids effectivement publiés, Artificial Analysis donne un autre chiffre dans son article : DeepSeek V4.1 Flash et GLM-5.3, à 32, sont à 26 points d’Opus 5.5. Avant le changement de version, l’écart était de 12 points. Il a donc plus que doublé.

Le cas de Mistral Large 4 reste en suspens. Selon ActuIA, son dépôt Hugging Face affiche le 31 octobre 2026 comme date estimée de publication des poids, sans fichier ni licence au soir du 28. Mistral avait écrit le 6 octobre qu’il les publierait « d’ici la fin du mois ». Deux inconnues demeurent : la licence choisie et le score de la version réellement publiée, dont l’entraînement par renforcement se poursuivait selon Mistral.

Décrochage réel ou effet de l’arbitre ?

Première hypothèse : l’écart est réel. Les sciences pèsent un quart de l’indice, et sur Terminal-Bench-Science, GPT-6 Astra réussit 63 % des tâches contre 13 % pour DeepSeek V4.1 Flash. Si les modèles ouverts sont plus faibles sur ce type de tâches, la nouvelle composition le fait apparaître. Les tests secrets ont aussi un intérêt reconnu : un laboratoire ne peut pas entraîner son modèle sur des questions qu’il ne voit jamais.

Deuxième hypothèse : le classement mesure en partie ses propres choix. Un indice dont 60 % repose sur des tests privés ne peut pas être audité de l’extérieur. Aucun laboratoire, aucun journaliste ne peut refaire le calcul. Artificial Analysis n’explique pas la chute des modèles ouverts et ne mentionne la contamination qu’à propos de FrontierCode 2.0.

Aucune des deux hypothèses ne peut être tranchée avec les données publiques. ActuIA le note : sans les scores épreuve par épreuve des deux versions, on ne peut pas calculer la part de chaque effet (nouvelle composition ou durcissement des tests). Un détail illustre le flou. Dans l’ancienne version, Mistral Large 4 avait de l’avance sur les épreuves d’agent : 27 % de réussite contre 8 % pour Muse sur Terminal-Bench 4.0, et 60 % contre 50 % sur AutomationBench. Ces deux épreuves restent dans la version 5, pour 15 % du poids total, mais la fiche de Large 4 n’affiche plus le détail. Garde-t-il cette avance ? On ne le sait pas.

Une précision enfin : les chiffres ci-dessus viennent des relevés d’ActuIA, pas d’un audit indépendant. Rien n’indique une erreur, mais rien ne permet non plus de vérifier le classement lui-même.

Choisir un modèle sans se fier à un seul score

Pour une PME, un indépendant ou un salarié, la leçon pratique tient en un détail du classement. Le réglage d’effort de raisonnement change tout. Réglé en effort bas, Claude Opus 5.5 obtient 35 points pour un coût moyen de 0,98 dollar par tâche de l’indice, selon Artificial Analysis. C’est 3 points de plus que le meilleur modèle à poids publiés. En effort maximal, la même tâche coûte 10,04 dollars. Gemini 4 Carbon, d’après The Decoder, revient à 7,76 dollars par tâche.

Comparer un modèle téléchargeable et un modèle d’API, c’est donc comparer des scores, des coûts, un réglage d’effort et une licence, et pas seulement un nombre de points. Un score global ne dit rien de vos tâches : rédiger des offres, résumer des contrats, trier des courriels, écrire du code interne.

Une méthode simple : rassembler une quinzaine de cas réels (documents anonymisés, demandes clients types), les soumettre à deux ou trois modèles et comparer les résultats à l’aveugle. Noter le temps, le coût et les erreurs. C’est exactement ce que l’indice ne peut pas faire à votre place.

Reste une question à surveiller dès le 31 octobre : si Mistral publie bien les poids de Large 4, sous quelle licence, et avec quel score ? La réponse dira si l’écart se creuse vraiment, ou si c’est l’arbitre qui a déplacé la ligne.

Sources

• Mistral Large 4 passe de 38 à 25 points sur le nouvel indice d’Artificial Analysis — ActuIA
• Google Deepmind releases Gemini 4 Carbon just two weeks after Argon with gains across the board — The Decoder