Des experts adoptent l’avis d’une IA tiré à pile ou face sans le savoir

Et si l’opinion défendue dans un rapport d’expert avait été fixée par un pile ou face ? Anthropic, une entreprise qui développe des assistants d’intelligence artificielle, a mené l’expérience auprès de 50 spécialistes. Ils ont suivi l’avis de leur agent IA dans jusqu’à 86 % des décisions, et la plupart ont cru que le résultat final était le leur, rapporte The Decoder.

Le protocole : un agent dont l’avis est tiré au sort

En jeu : savoir qui décide vraiment quand on confie une analyse à une IA. Un « agent IA », c’est un programme qui enchaîne seul plusieurs étapes d’un travail, ici une analyse de données, au lieu de répondre à une seule question.

Anthropic a recruté 50 experts en inférence causale. Ce domaine consiste à estimer si une action a réellement provoqué un effet, plutôt que de constater deux phénomènes qui évoluent en même temps. Leur tâche : examiner des données d’observation d’une coopérative agricole fictive et estimer les gains de productivité d’un programme volontaire de conseil aux fermes. Ils devaient ensuite recommander au conseil d’administration d’étendre le programme à toutes les fermes ou d’y mettre fin. Étendre le programme pour un an restait possible, que la proposition vienne de l’agent ou du participant.

Ce que les participants ignoraient : à chaque point de décision, un tirage à pile ou face fixait la préférence de l’agent entre deux options également valables. L’agent ne pouvait ni mentir ni cacher des données. Il devait seulement défendre honnêtement, et le mieux possible, le camp qui lui avait été attribué. Il s’agit donc d’une préférence imposée pour l’expérience.

Il y avait quatre décisions d’analyse de ce type, par exemple la manière de mesurer la productivité ou la méthode statistique à employer. Aucune n’avait de bonne réponse évidente.

86 % de suivi, contre 50 % attendus au hasard

En jeu : l’ampleur de l’influence. Si l’agent n’avait aucun effet, les experts choisiraient chaque option une fois sur deux, soit 50 %. Or ils ont adopté la préférence de l’agent dans jusqu’à 86 % des décisions. Précision importante : ce chiffre porte sur les décisions, pas sur les personnes. Il ne veut pas dire que 86 % des experts ont suivi l’agent. L’écart avec le hasard reste considérable.

Les auteurs mesurent aussi ce qu’ils appellent le « taux de basculement » : l’influence nette de l’agent, qui va de 62 à 82 % selon la tâche. Avoir déjà un avis protège peu. Quand un participant avait fait son choix avant que l’agent donne le sien, un avis opposé le poussait à changer de camp 53 points de pourcentage plus souvent qu’un avis concordant.

Les chercheurs ont cherché des remparts : années d’expérience, expertise déclarée, niveau d’études, scores à des tests, confiance dans l’IA. Après correction statistique, aucun n’a montré de lien fiable avec les résultats. L’âge ressortait avant cette correction, mais avec 50 personnes, l’étude avait peu de puissance pour détecter ce type d’effet. En clair : on ne sait pas qui résiste le mieux, et l’expérience ne semble pas suffire.

L’agent aide aussi. Avec lui, 6 % des analyses (3 sur 50) comportaient de graves défauts de méthode ou de code, et les participants ont mis 65 minutes en médiane. La médiane, c’est le temps du participant du milieu : la moitié a fini en moins de 65 minutes, l’autre moitié en plus. Sans agent, 6 analyses sur 11 (55 %) avaient de tels défauts, pour une médiane de 90 minutes. Le petit groupe sans IA avait choisi de ne pas utiliser l’outil et avait un peu moins d’expertise : les chercheurs ne peuvent donc pas dire quelle part de l’écart vient réellement de l’IA.

Le plus troublant : « c’est bien mon idée »

En jeu : se rendre compte qu’on a été influencé. Or, sur ce point, les participants n’ont pas vu grand-chose.

Sur la recommandation finale au conseil d’administration, l’effet direct de la préférence tirée au sort est resté faible : il a légèrement déplacé les votes, sans atteindre le seuil de signification statistique, c’est-à-dire sans qu’on puisse écarter le simple hasard. Certains experts ont même contredit l’agent quand son conseil ne collait pas à leur estimation chiffrée.

Cela pourrait rassurer : l’IA suggère, l’humain tranche. Les chercheurs freinent cette lecture. Les quatre décisions précédentes pesaient lourd sur le gain de productivité estimé, qui orientait à son tour la recommandation. Le contrôle apparent à la fin ne prouve pas qu’il existait en route.

Les réponses après coup sont éloquentes :

• 52 % des participants disent que la recommandation leur ressemblait plus qu’à l’agent, et 35 % de plus qu’elle était en grande partie ou entièrement la leur ;
• ils se souvenaient correctement de leur choix dans 85 % des décisions ;
• pourtant, 77 % d’entre eux (37 sur 48) ont repris au moins un argument de l’agent dans leurs explications, parfois presque mot pour mot ;
• seuls 15 % ont mentionné l’IA.

Les journaux de conversation montrent aussi que l’agent donnait sa position en premier dans 77 % des décisions. Il plaidait ensuite surtout pour son camp, sans expliquer pourquoi des experts compétents pourraient choisir l’autre option, même s’il détaillait l’effet d’un choix différent sur le résultat.

Une étude publiée par un éditeur d’IA : portée et limites

En jeu : la crédibilité. C’est une entreprise qui vend des IA qui publie ce constat, ce qui peut se lire de deux façons. D’un côté, montrer ses propres failles plaide plutôt pour la transparence. De l’autre, on ne peut pas écarter que l’étude serve aussi à positionner l’entreprise sur la sécurité de l’IA. Nous ne disposons ici que du compte rendu de The Decoder, pas de l’article scientifique complet.

Les limites sont visibles dans ce compte rendu :

• l’échantillon est petit, 50 experts ;
• il s’agit d’un seul cas d’étude fictif, une coopérative agricole, dans un domaine précis ;
• le groupe sans IA est minuscule (11 analyses) et ne résulte pas d’un tirage au sort ;
• l’agent avait reçu une préférence imposée pour l’expérience, ce qui ne dit pas comment il se comporte dans un usage ordinaire.

Les résultats ne disent donc pas que toute IA oriente tous ses utilisateurs de cette manière. Ils montrent qu’un agent qui argumente bien, honnêtement, sur un point sans réponse évidente, peut faire pencher des experts sans qu’ils s’en aperçoivent.

D’autres travaux cités par The Decoder vont dans le même sens. Dans une étude sur la fausse confiance auprès de 3 132 participants, la part de ceux prêts à répondre « je ne sais pas » est passée de 44 à 3 % dès qu’ils voyaient des réponses d’IA. Une étude observationnelle polonaise sur la coloscopie, publiée dans The Lancet Gastroenterology & Hepatology, a relevé que le taux de détection de lésions précancéreuses chez des médecins expérimentés, sans IA, est tombé de 28,4 à 22,4 % après un usage régulier d’un système d’IA. Ce travail est observationnel : il montre une corrélation, pas la preuve d’un mécanisme unique.

Les auteurs voient un risque plus large : si de nombreuses équipes utilisent le même modèle, avec les mêmes préférences par défaut, cela pourrait créer un faux consensus en recherche. Cela fragiliserait aussi les contrôles de sécurité de l’IA, puisque des chercheurs emploient déjà des agents pour tester des modèles de pointe en comptant sur la relecture humaine comme garde-fou indépendant.

Que retenir pour son travail au quotidien

En jeu : les jugements difficiles que chacun délègue déjà un peu, dans un tableur, un rapport ou un choix de méthode.

L’étude ne fournit pas de mode d’emploi, mais ses pistes donnent des repères concrets :

• Noter son avis avant de consulter l’IA. Cela ne suffit pas, puisque les experts qui avaient déjà choisi ont souvent changé de camp, mais cela permet de repérer un revirement.
• Demander à l’agent de plaider les deux côtés. C’est une des solutions proposées par les auteurs, qui suggèrent aussi que l’agent demande d’abord l’avis de l’utilisateur.
• Trier les décisions. Les chercheurs écrivent qu’il n’existe peut-être pas de bonne répartition unique entre humains et IA : certaines décisions peuvent être déléguées, d’autres méritent d’être gardées, et ce partage peut être choisi plutôt que subi.
• Savoir citer ses raisons. Si l’on ne peut pas expliquer un choix sans reprendre les mots de l’agent, c’est un signal.

Question ouverte : si l’IA fait gagner du temps et réduit les erreurs graves, comme ici, à partir de quel point la perte de maîtrise des petites décisions coûte-t-elle plus que le gain ? Vos prochaines analyses assistées par IA en offrent un test simple : relisez l’historique de la conversation et comptez combien de choix venaient de vous.

Sources

• Experts adopt AI agent’s random opinions and think they’re their own, Anthropic study finds (The Decoder)