OpenAI avoue qu’aucun score ne suffit pour choisir son modèle

Le modèle le plus cher d’OpenAI n’est pas toujours le meilleur. C’est, en substance, ce que reconnaît Ted Sanders, un responsable de l’entreprise, à propos du nouveau GPT-6.1 Terra. Si la performance d’un modèle n’a pas une seule dimension, comment choisir sans se fier à un score unique ?

Ce que dit Ted Sanders

Selon The Decoder, Ted Sanders a situé GPT-6.1 Terra dans la gamme et expliqué comment OpenAI nomme ses modèles de langage. Son point de départ : la performance est multidimensionnelle. Un modèle excellent en mathématiques ne sera pas automatiquement bon pour écrire des blagues.

Il admet pourtant que l’essentiel des écarts de performance tient à une seule variable : la taille du modèle. Mais la taille n’explique pas tout. Selon Sanders, des modèles récents et plus petits peuvent dépasser des modèles plus anciens et plus grands, grâce à de meilleures données d’entraînement ou à des architectures améliorées.

Sa règle empirique, rapportée par The Decoder, tient en trois phrases : « Si vous ne vous souciez que de la qualité, prenez Astra. Si vous êtes un peu sensible au prix, prenez Sol. Si vous l’êtes beaucoup, prenez Terra ou Luna. »

Trois dimensions, pas un « QI » de l’IA

Pourquoi OpenAI ne simplifie-t-elle pas ses noms de modèles ? Sanders répond que la taille, l’effort de raisonnement et les systèmes multi-agents sont des dimensions distinctes. Les fusionner en un seul « score de QI » masquerait des détails qui comptent.

• La taille du modèle. Les modèles de la gamme (Astra, Sol, Terra, Luna) se distinguent notamment par la taille et le prix. Les sources ne donnent pas de classement complet des quatre : on sait seulement que Terra est plus petit qu’Astra.
• L’effort de raisonnement. Pour un même modèle, on peut demander plus ou moins de réflexion avant la réponse. Le blogueur Simon Willison a publié une grille de dessins de pélican pour chaque niveau de raisonnement de la gamme. Dans son exemple, le dessin au niveau « max » a coûté environ 11,3 cents de dollar et pris 4 minutes 11 secondes. Durée et coût dépendent donc aussi d’un réglage, pas seulement du modèle.
• Les systèmes multi-agents. Il s’agit de dispositifs où plusieurs agents d’IA collaborent sur une tâche. Sanders les classe comme une troisième variable, séparée des deux autres.

Conséquence : deux modèles ne se comparent pas sur une seule ligne. Un classement public ne dit pas à quel niveau de raisonnement ni dans quelle configuration le modèle a été testé, ni si cela ressemble à votre usage.

Terra, un cas d’école

GPT-6.1 Terra illustre ce problème. D’après Sanders, cité par Simon Willison, il est probablement meilleur qu’Astra et Sol en communication technique. Il est comparable en vision et en usage d’ordinateur, mais « beaucoup plus rapide ». Il est un peu moins bon sur la plupart des autres sujets. The Decoder précise qu’il est vendu à un prix bien inférieur à celui d’Astra.

Un petit modèle peut donc battre un grand modèle sur une compétence précise, sans le battre ailleurs. Aucune note globale ne rend cette nuance.

Willison relève aussi un point de lecture utile : il est toujours instructif de regarder ce qu’une annonce met en avant. Pour Terra, OpenAI insiste sur le raisonnement visuel détaillé, l’usage précis d’un ordinateur et une écriture plus claire. L’entreprise cite des tâches de bureau : rédiger des propositions, interpréter des plans techniques, remplir des formulaires, monter des vidéos. Ce sont des usages, pas des scores abstraits.

Willison note enfin que Terra occupe chez OpenAI la place qu’occupe Sonnet dans la gamme d’Anthropic : ni le moins cher, ni le plus cher. Une position intermédiaire rend le choix moins évident.

Une méthode pour choisir

Sanders distingue deux publics. Pour les développeurs d’API, Terra est une option intermédiaire, plus économique que Sol et nettement plus capable que Luna, surtout en vision, en usage d’ordinateur et en communication. Pour les abonnés, ce n’est pas, dit-il, « une bombe » : Terra peut aider à aller un peu plus loin si l’on atteint ses limites d’usage, ou servir à obtenir une communication plus claire et un usage d’ordinateur plus rapide.

Willison ajoute que l’usage d’ordinateur profite d’un modèle moins cher, car on le confie souvent à des tâches automatisées et répétitives. Quand une action se répète des centaines de fois, la vitesse et le coût pèsent vite.

De ces éléments découle une méthode possible. Elle reste une suggestion de la rédaction, pas une recommandation d’OpenAI :

1. Listez cinq à dix tâches réelles de votre semaine : un courriel client, un résumé technique, un formulaire à remplir, un plan à interpréter.
2. Passez-les dans plusieurs modèles de la gamme, en notant le réglage de raisonnement utilisé.
3. Comparez trois choses : la qualité, le temps de réponse et le coût.
4. Ne montez en gamme que pour les tâches où l’écart se voit vraiment.

L’intérêt de cette approche : elle remplace un score général par une mesure sur votre propre travail.

Ce qu’il reste à vérifier

Il faut lire ces comparaisons avec recul. Elles viennent d’un responsable d’OpenAI, qui vend ces modèles. Sanders reste prudent dans ses formulations (« probablement meilleur », « un peu moins bon »), et les textes cités ici ne contiennent aucun test indépendant qui les confirme ou les infirme.

Son conseil reste aussi, au fond, une échelle : qualité maximale chez Astra, économie chez Terra ou Luna. La nuance est que cette échelle ne vaut pas dans tous les domaines, comme le montre la communication technique.

Reste une question ouverte : sur vos propres documents, l’écart entre un petit et un grand modèle se voit-il assez pour justifier de changer de réglage ou de modèle ? Aucun classement ne répondra à votre place, mais quelques tests sur votre travail réel, avec le temps et le coût mesurés, le peuvent.

Sources

• OpenAI’s Ted Sanders shares a rule of thumb for picking the right GPT-model
• GPT-6.1 Terra (Simon Willison)