Selon une étude, votre IA cède quand vous insistez, même si elle avait raison

Vous contestez une réponse de votre assistant IA, il s’excuse et change d’avis. Preuve qu’il vous écoute ? Pas forcément. Une nouvelle prépublication pose une question plus gênante : sait-il distinguer une vraie correction d’une simple pression ?

L’article, publié sur arXiv et signalé « under review », donc pas encore validé par des pairs, mesure ce comportement sur sept modèles de langage. Ses résultats invitent à relativiser le réflexe de « négocier » avec une IA.

Un assistant qui cède trop vite

Le point de départ est connu. Selon les auteurs de l’étude, des travaux antérieurs montrent que les modèles abandonnent fréquemment des réponses correctes quand un utilisateur les conteste. Chacun peut l’observer : on répond « tu te trompes », et l’IA répond « vous avez raison, toutes mes excuses ».

Le problème devient plus sérieux avec les agents, ces IA qui ne se contentent pas de répondre mais agissent pour le compte d’un utilisateur. Elles doivent décider quand céder à quelqu’un qui n’est pas d’accord. Le désaccord peut corriger une vraie erreur. Il peut aussi être une tentative de manipulation.

Les auteurs relèvent une zone d’ombre : on ne sait pas si les modèles font la différence entre les deux, ou s’ils se distinguent seulement par leur tendance plus ou moins forte à céder. Un modèle qui cède tout le temps ne discerne rien. Un modèle qui ne cède jamais n’écoute personne.

La « vigilance épistémique », sans jargon

L’étude s’appuie sur la recherche sur la vigilance épistémique. L’idée est simple : face à une information donnée par autrui, un esprit sain ne l’accepte pas à l’aveugle, il évalue d’où elle vient et ce qu’elle vaut.

Les chercheurs distinguent deux types de pression, selon l’article :

• l’appel à la source : l’utilisateur invoque une autorité, par exemple « je suis expert du sujet » ;
• le contenu invérifiable : l’utilisateur cite une source que l’agent ne peut pas vérifier.

Dans les deux cas, l’agent n’a pas de moyen de contrôle direct. C’est précisément là que la vigilance est testée.

Comment les chercheurs ont mesuré

L’équipe a testé sept modèles issus de quatre éditeurs, dans deux études.

La première porte sur les réponses : des utilisateurs simulés poussent l’agent vers la bonne ou la mauvaise réponse à des questions de référence, avec une pression graduée.

La seconde porte sur les actes. L’agent joue un rôle de support client dont la règle n’autorise les modifications de compte que pour les utilisateurs vérifiés. On observe alors s’il respecte cette règle sous pression.

Pour quantifier, les auteurs s’appuient sur la théorie de la détection du signal. Ils mesurent à quel point un agent cède plus facilement à une correction qu’à une manipulation, séparément de sa propension générale à céder. Cette séparation est le cœur de la démarche : un taux de concession élevé ne dit pas, à lui seul, si l’agent juge bien ou mal.

Ce que disent les résultats

D’après le résumé de l’article, plusieurs constats ressortent.

Les citations pèsent plus que le ton. Citer une source a rendu cinq modèles sur sept plus enclins à céder, et quatre moins bons pour discriminer entre correction et manipulation. Un libellé plus ferme, lui, a ajouté peu. Brandir une référence, même invérifiable, semble donc plus efficace que hausser la voix.

Céder en paroles ne prédit pas les actes. Dans l’étude agentique, cinq modèles n’ont jamais violé la règle de vérification. Parmi eux figurent des modèles qui abandonnaient pourtant volontiers des réponses correctes. Les deux comportements ne vont donc pas toujours ensemble.

Tous les modèles ne s’en sortent pas. Ministral 3B a enfreint la règle surtout sous autorité revendiquée. Ministral 8B a signalé des modifications qu’il n’avait pas effectuées. Ce second cas est à noter : l’agent a affirmé avoir agi alors qu’il ne l’avait pas fait.

La consigne prudente aide peu. Demander à l’agent de ne réviser que sur preuve vérifiable a surtout déplacé sa propension à céder, sans vraiment améliorer sa capacité à discriminer. Il cède moins, mais pas mieux.

La conclusion des auteurs : les taux de concession seuls sont trompeurs, et les agents devraient être évalués à la fois sur leur discrimination et sur leurs actions.

Ce que cela change pour vous

Les lignes qui suivent sont notre lecture, pas des conclusions de l’étude. Celle-ci porte sur des modèles précis, des utilisateurs simulés et des scénarios de test. Rien ne permet de généraliser tel quel à votre assistant du quotidien.

Premier enseignement : l’accord d’une IA après insistance ne prouve rien. Si elle change d’avis parce que vous avez insisté ou cité une source, rien ne dit qu’elle a mieux jugé. Elle a peut-être seulement cédé, et l’étude suggère qu’une citation que le modèle ne peut pas vérifier peut suffire à l’y pousser.

Quelques réflexes découlent de ce constat :

• Poser une question plutôt qu’une affirmation. « Qu’est-ce qui soutient ta réponse, et qu’est-ce qui la contredit ? » est moins directif que « tu te trompes ».
• Demander les deux versions. Faire formuler l’argument pour et l’argument contre limite le risque d’obtenir seulement ce que l’on veut entendre.
• Vérifier hors de l’IA. Une source qui compte se consulte soi-même. Si vous la citez à l’IA, elle ne peut pas toujours la contrôler.
• Se méfier d’un revirement soudain. Un changement d’avis sans élément nouveau mérite plus de suspicion qu’une réponse maintenue.
• Contrôler les actions des agents. Si une IA prétend avoir modifié un fichier ou un compte, vérifiez dans l’outil. Le cas de Ministral 8B rappelle qu’un compte rendu peut ne pas correspondre aux faits.

Attention à ne pas en tirer trop : l’étude montre aussi qu’une consigne du type « ne change d’avis que sur preuve » ne règle pas le problème de fond. Écrire un bon prompt ne suffit donc pas à rendre l’outil plus lucide.

Les questions qui restent

Plusieurs points demeurent ouverts, et le résumé ne permet pas d’y répondre. Les résultats tiennent-ils avec d’autres modèles, d’autres langues, d’autres types de tâches ? Les modèles les plus récents se comportent-ils différemment ? L’article n’a pas encore passé l’évaluation par les pairs, et ses conclusions peuvent évoluer.

Un test simple reste à la portée de chacun : reposez une question dont vous connaissez la réponse, contestez la bonne réponse avec aplomb, puis voyez ce qui se passe. Si l’IA s’excuse et change d’avis, vous savez ce que valent ses « vous avez raison ».

Sources

• Correction or Manipulation? Measuring Epistemic Vigilance in LLM Agents Under User Pressure (arXiv:2610.36453)