AllenAI : changer quelques mots du prompt fait chuter GPT-5.4 de 93,5 % à 40,9 %

Vous demandez à un chatbot si votre idée existe déjà. Il répond « oui, c’est original » ou « non, c’est connu », avec aplomb. AllenAI vient de mesurer ce qu’vaut ce verdict, et le résultat est loin d’être rassurant.

Dans un billet publié sur Hugging Face, l’équipe d’Ai2 présente une étude intitulée Old Ideas, Novel Problems. Elle teste si des modèles de langage (LLM) savent départager une idée neuve d’une idée recyclée. Les six juges évalués viennent tous d’OpenAI et d’Anthropic.

Pourquoi AllenAI s’intéresse aux « juges de nouveauté »

Ai2 développe des systèmes pour accompagner la découverte scientifique. Le billet cite DataVoyager (exploration de données structurées), AutoDiscovery (génération et test d’hypothèses) et Theorizer (synthèse de la littérature en théories candidates), ainsi qu’Asta.

Générer des idées ne suffit pas, expliquent les auteurs : il faut aussi qu’elles apportent quelque chose de nouveau. Ce tri est souvent confié à un autre LLM, qu’ils appellent un « novelty judge », un juge de nouveauté. Il évalue si une idée est neuve par rapport aux travaux antérieurs, seule ou face à une autre idée.

Selon le billet, il n’existe pas de méthode standard. Chaque équipe choisit un modèle, un prompt, un format d’évaluation, un budget de raisonnement et parfois un système de recherche documentaire. Ces choix peuvent changer le verdict. Et ces juges sont souvent validés sur des articles écrits par des humains, pas sur les idées générées par IA qu’ils doivent ensuite noter.

Comment le test est construit

Pour savoir si un juge se trompe, il faut des idées dont on connaît le degré de nouveauté. AllenAI a bâti un pipeline automatisé à partir des évaluations par les pairs (peer reviews) de l’ICLR 2026. Les auteurs n’ont pas pris l’acceptation d’un article comme preuve de nouveauté : un papier peut être accepté parce qu’il est solide ailleurs. Ils ont cherché dans les évaluations les passages où les relecteurs parlent explicitement de l’originalité.

Deux ensembles en ressortent :

• 154 idées très nouvelles, issues d’articles acceptés, dans les 10 % les mieux notés de leur domaine, dont la nouveauté est saluée par des relecteurs sans qu’aucun la conteste ;
• 145 idées moins nouvelles, issues d’articles rejetés, dans les 10 % les moins bien notés, dont l’originalité est mise en doute sans qu’aucun relecteur ne la reconnaisse.

Un annotateur a vérifié l’extraction : il était d’accord avec la polarité relevée dans 47 cas sur 50, et aucun désaccord n’aurait changé le classement.

Premier cadre, « Human-Only » : départager ces idées humaines. Second cadre, « Human+Generated » : les mêmes 154 idées humaines sont appariées à 154 idées produites par un générateur LLM simple, qui reçoit seulement un domaine de recherche et la consigne de proposer une idée nouvelle. AllenAI suppose que ces idées générées sont moins nouvelles, mais précise qu’il s’agit d’étiquettes faibles, non vérifiées une à une.

Un expert a relu 30 paires, choisies en majorité parmi les cas où le meilleur juge s’était trompé. Il a préféré l’idée humaine dans les 30 cas et n’a jugé aucune idée générée nouvelle.

Quelques mots dans le prompt, 50 points de précision

Les six juges sont GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 et Claude Opus 4.6. AllenAI a testé des notes absolues et des comparaisons par paires, en ne modifiant qu’un facteur à la fois : prompt, budget de raisonnement, accès à des articles proches, format des idées, nombre de jugements agrégés, modèle générateur.

Le prompt pèse le plus. Sur les paires Human+Generated, GPT-5.4 reçoit deux versions de la consigne. Dans la première, on lui dit que les relecteurs ont jugé exactement une idée nouvelle par paire et on lui demande laquelle. Dans la seconde, on lui demande simplement laquelle est nouvelle. Sa précision passe de 93,5 % à 40,9 %, sous le hasard, et il change d’avis sur plus de la moitié des paires.

Sur le jeu Human-Only, le même changement de prompt ne déplace la précision que d’environ sept points. Le billet en tire que l’instabilité dépend du type de comparaison, mais l’extrait disponible s’arrête avant la fin de cette analyse. Nous ne la détaillons donc pas ici.

Autres constats rapportés par AllenAI :

• la recherche documentaire et le raisonnement supplémentaire n’améliorent pas les jugements de façon constante ;
• deux systèmes conçus spécialement pour évaluer la nouveauté font moins bien qu’un simple prompt appliqué à Claude Opus 4.6 ;
• plusieurs résultats ne dépendent pas des étiquettes : si deux protocoles raisonnables donnent des réponses opposées sur la même paire, cette divergence révèle déjà une instabilité.

Ce que cela change si vous demandez à une IA « mon idée existe-t-elle ? »

L’étude porte sur des idées de recherche en apprentissage automatique, tirées de l’ICLR. Elle ne teste ni un produit, ni un service, ni un modèle chinois ou européen. Transposer ses chiffres à une idée de PME serait abusif.

Le mécanisme, lui, vaut d’être gardé en tête. Un modèle juge à partir de ce qu’il a vu à l’entraînement, éventuellement complété par une recherche. Ce qui n’est pas publié ou pas indexé lui échappe : c’est notre raisonnement, pas une conclusion du billet. Le billet apporte un autre fait : même avec des articles proches sous les yeux, les verdicts ne s’améliorent pas de manière régulière.

Quelques réflexes pratiques en découlent, déduits de ces résultats plutôt que prescrits par l’étude :

1. Reformuler la question. Si « est-ce nouveau ? » et « est-ce un sujet déjà traité ? » donnent des réponses opposées, le verdict ne tient pas.
2. Refaire la demande plusieurs fois, avec des consignes différentes, et noter les contradictions.
3. Chercher soi-même : brevets, publications, catalogues, concurrents, avec des mots-clés variés. Un modèle ne remplace pas cette recherche.
4. Faire relire par un humain du métier. Dans l’étude, c’est un expert qui a confirmé les préférences sur 30 paires.

Ce que l’étude ne dit pas encore

Plusieurs précautions s’imposent. Les étiquettes du cadre Human+Generated sont faibles, comme le reconnaît AllenAI. Le générateur utilisé est volontairement basique. Les auteurs travaillent par ailleurs sur des systèmes d’IA pour la science : c’est eux qui posent la question, ce qui n’invalide rien, mais mérite d’être su. Le code, les données et le benchmark sont publiés, ce qui permet à d’autres équipes de contrôler.

Question ouverte : d’autres modèles, chinois, européens ou open source, seraient-ils plus stables ? Les six juges testés viennent de deux laboratoires américains, et l’extrait publié ne donne pas de comparaison au-delà. En attendant, la prochaine fois qu’une IA vous dit que votre idée est neuve, posez-lui la question autrement et comparez les réponses.

Sources

• Can we trust LLMs to judge whether a research idea is novel? (AllenAI, Hugging Face)