Gemini 4 Carbon : Google revendique la première place du classement

Google DeepMind a dévoilé Gemini 4 Carbon, qu’elle décrit comme son modèle le plus puissant. Le billet officiel affiche un premier rang sur un indice tiers et des scores en cybersécurité. Mais presque tout ce qu’il avance est publié par Google elle-même, et le modèle n’est pas encore ouvert au public.

Ce que Google annonce vraiment

Dans son billet, Google DeepMind présente Gemini 4 Carbon comme « our strongest model », avec des capacités « state-of-the-art » (au meilleur niveau actuel) en cybersécurité et sur les tâches à « long horizon ». Ce terme désigne des travaux longs, en plusieurs étapes, où le modèle doit persévérer sans s’arrêter au premier obstacle.

Google affirme que ses équipes ont vu Carbon travailler pendant des jours sur des problèmes d’ingénierie complexes. Elle cite l’identification de la cause et la correction de bogues subtils dans de grands ensembles de code et des systèmes bas niveau. Elle cite aussi des progrès en programmation, en tâches dites « agentiques » (le modèle enchaîne des actions seul), en développement web et en compréhension multimodale.

Carbon succède à Gemini 4 Argon, lancé selon Google « il y a deux semaines ». Le rythme est notable : deux modèles majeurs en quinze jours. Le billet l’attribue à des chercheurs et des modèles qui travaillent « main dans la main », sans détailler ce que cela signifie.

Des chiffres, mais des chiffres signés Google

Le chiffre phare : Carbon serait numéro un de la version 5.0, récemment mise à jour, de l’Artificial Analysis Intelligence Index, avec 59 points. C’est le seul classement tiers cité pour la place de leader, et le billet ne donne pas les scores des modèles rivaux.

En cybersécurité, Google annonce trois résultats sur des tests de référence externes, obtenus « sans garde-fous » :

• SEC-bench Pro : 88,2 % pour la découverte de vulnérabilités ;
• ExploitGym : 54,8 % pour l’exploitation de failles ;
• CWE-bench, de Collinear : 71,0 % pour les correctifs.

Ces tests sont externes, mais ce sont les résultats que Google publie. Le billet ne renvoie à aucun protocole détaillé ni à une reproduction par un tiers. Il donne aussi des mesures internes : un gain de plus de deux fois du taux de réussite pour générer du code sécurisé par rapport à Argon, et des alertes graves de désalignement (le modèle qui s’écarte de ce qu’on lui demande) en baisse de près de 80 % dans les environnements de programmation de ses équipes.

Deux témoignages complètent le tableau. L’équipe Chrome dit que Carbon a fait « plus de 10 fois mieux » qu’un modèle d’un autre laboratoire, non nommé, pour produire des correctifs de qualité. Wiz, que Google présente comme sa plateforme de sécurité infonuagique, observe que Carbon est en tête sur des tests d’intrusion web. Ces deux voix sont proches de Google, et le concurrent comparé reste anonyme.

Un résultat nuance le récit de domination : sur WebDev Arena, un classement fondé sur des points Elo (un barème de duels), Carbon gagne 89 points mais se classe quatrième, avec 1769 points. Google le présente comme un bond, et c’en est un, mais ce n’est pas la première place.

Sécurité et fiabilité : des promesses chiffrées

Le billet consacre une longue partie à la sécurité. Google assure que Carbon réduit les « raccourcis » pris pour tricher. Sur Terminal-Bench 4.0, la triche réussie tomberait à 0,0 % et les tentatives à 0,4 %, avec une précision globale en hausse. Sur le test d’injection indirecte de Gray Swan, Carbon afficherait 0,0 % d’attaques réussies, contre 0,7 % pour Argon. L’injection consiste à cacher des consignes malveillantes dans un contenu que l’IA lit.

Google ajoute des mesures internes :

• les affirmations non étayées seraient divisées par environ deux par rapport à Argon ;
• le dépassement du cadre demandé baisserait de 26 % et le travail incomplet de 29 % ;
• le modèle signalerait les contradictions à l’utilisateur avant d’agir.

Ces progrès, s’ils se confirment, comptent pour qui confie des tâches longues à un agent. Une mesure à 0,0 % reste pourtant celle d’un jeu de tests précis, pas une garantie dans la vie réelle. Rien dans le billet ne permet de savoir comment ces mesures se comportent hors du laboratoire.

Un accès restreint, une date floue

Carbon n’est pas disponible pour tous. Google dit mener un déploiement « délibéré » et participer au processus volontaire du gouvernement américain pour les tests avant mise en service. Dès cette semaine, un sous-ensemble de défenseurs en cybersécurité y aura accès. D’autres partenaires de confiance suivront progressivement via le programme Fairwind.

Pour les développeurs, les entreprises et le grand public, le billet promet une arrivée « dès que possible » et « bientôt ». Aucune date n’est donnée. Il ne dit rien non plus de l’Europe, de la Belgique, de la France, de la Suisse ou du Québec, ni de la disponibilité en français, ni des conditions de conformité européennes. Ce silence ne prouve rien, mais il laisse la question ouverte.

Sur le prix, Google annonce un tarif d’introduction identique à celui d’Argon : 2 dollars par million de jetons en entrée et 10 dollars par million en sortie. Les jetons d’entrée en cache coûteraient 95 % de moins. Le passage du billet que nous avons pu lire s’interrompt sur un tarif de 4 dollars applicable après la période d’introduction : l’unité exacte et la durée de cette période ne sont pas précisées. Une hausse est probable, mais son ampleur reste à confirmer.

Ce que cela change pour vous

Le billet ne nomme aucun concurrent direct, et ne mentionne ni les lancements récents d’autres laboratoires ni leur actualité financière. Il ne permet donc pas de dire, à lui seul, si Google reprend la tête face à OpenAI ou à Anthropic. Le seul fait vérifiable ici est le premier rang annoncé sur un indice tiers : il faudra comparer la page de l’indice avec les scores des autres modèles, et s’appuyer sur des sources distinctes pour juger le rapport de force entre laboratoires américains.

Pour un salarié ou un indépendant, rien ne change cette semaine : Carbon n’est pas ouvert au public. Pour une PME, l’intérêt immédiat est faible, sauf si son activité touche à la cybersécurité ou au développement logiciel lourd, les deux domaines où Google concentre ses chiffres. Si elle doit confier du code ou des audits à un agent, les promesses sur les tâches longues et la moindre tendance à inventer valent d’être testées sur ses propres cas, pas sur ceux du billet.

Avant de changer d’outil, quelques points sont à surveiller :

• une évaluation indépendante des scores en cybersécurité, hors tests choisis par l’éditeur ;
• la date et les conditions d’ouverture en Europe, avec le support du français ;
• le tarif réel après la période d’introduction ;
• le comportement du modèle sur vos données, et non sur des jeux de test.

Une question reste ouverte : un modèle aussi fort pour trouver et exploiter des failles, ouvert d’abord aux seuls défenseurs, restera-t-il longtemps réservé à ce cercle ? Le billet ne le dit pas.

Sources

• Gemini 4 Carbon: our next frontier model (Google DeepMind)