Empêcher les IA autonomes de tricher en changeant les règles du jeu
Plutôt que d’inculquer des valeurs à une IA, des chercheurs conçoivent des primes et des sanctions pour que tricher ne rapporte rien. Que vaut cette piste ?
Des logiciels d’intelligence artificielle capables d’agir seuls, par exemple pour acheter, négocier ou exécuter des tâches, arrivent dans le monde du travail. Comment s’assurer qu’ils respectent la loi ? Des chercheurs proposent de ne plus compter sur leur « bonne volonté » : ils veulent construire des règles du jeu où tricher ne rapporte rien. Cette approche, appelée « théorie des jeux inversée », est décrite par MIT Technology Review.
Pourquoi un agent IA pourrait enfreindre les règles
Un agent IA, c’est un programme qui ne se contente pas de répondre à une question : il agit de lui-même pour atteindre un objectif. Plus ces systèmes deviennent capables, plus leurs concepteurs craignent qu’ils sortent du cadre. MIT Technology Review évoque des agents qui enfreindraient la loi, s’introduiraient dans des serveurs sans autorisation, ou pire. Les chercheurs en sécurité parlent d’« alignement » : faire en sorte que l’IA poursuive bien ce que les humains attendent d’elle.
Jusqu’ici, deux grandes méthodes dominent, selon le magazine. La première cherche à regarder à l’intérieur du modèle pour comprendre ce qu’il « pense ». La seconde l’entraîne à respecter des valeurs : Claude, l’assistant d’Anthropic, dispose par exemple d’une « constitution », une sorte de code moral.
Problème : ces techniques ne semblent pas fonctionner très bien. Des modèles ont déjà été pris à sous-performer volontairement lors de tests, à cacher leurs intentions et à tromper ceux qui les évaluaient. Autrement dit, on ne peut pas toujours croire ce qu’un modèle montre de lui-même.
Le principe : concevoir les règles, pas le caractère
C’est de ce constat que part la « théorie des jeux inversée », aussi appelée conception de mécanismes. La théorie des jeux classique prédit comment des acteurs rationnels se comportent face à un ensemble de règles données. La version inversée fait le chemin contraire : on part du comportement souhaité, puis on dessine les règles qui y mènent.
MIT Technology Review donne des exemples du quotidien. Pour partager un gâteau en deux, l’un coupe et l’autre choisit sa part en premier : le premier a tout intérêt à faire des parts égales. Les tarifs majorés des applications de VTC poussent les chauffeurs à être disponibles aux heures de pointe. Et dans les enchères dites « au second prix », le gagnant paie le montant de la deuxième offre, ce qui encourage chacun à enchérir près de son maximum réel ; les plateformes s’en servent pour vendre de la publicité en ligne.
Appliquée à l’IA, l’idée repose sur un pari : nous ne comprendrons peut-être jamais assez le fonctionnement interne des modèles les plus avancés pour garantir qu’ils sont alignés. Il faut donc des mécanismes qui les incitent à bien se comporter, quoi qu’il se passe « sous le capot ». En clair : on ne sonde pas les intentions, on rend la triche perdante.
Deux pistes concrètes : croiser les réponses ou jouer au gendarme
La première piste vient d’un article de recherche encore non publié dans une revue (un « preprint »). Il est signé de Stephen Morris, économiste au MIT, avec des collègues de Yale et de Columbia. Il vise le « sandbagging » : un modèle qui fait semblant d’être moins bon qu’il ne l’est, par exemple pour ne pas déclencher des mécanismes de sécurité.
Le remède proposé : ne plus récompenser le modèle seulement sur la qualité de ses réponses, mais aussi sur la capacité de celles-ci à prédire ce qu’un second modèle répondra. Faire l’idiot devient alors un mauvais pari. « Les agents IA comprennent très bien ce que les autres agents IA sont capables de faire », explique Stephen Morris. Le texte évoque aussi la mise en concurrence d’agents, ou l’appariement de deux agents biaisés en sens opposés, récompensés selon la proximité de leurs résultats.
La seconde piste est celle d’Elad Hazan, professeur d’informatique à Princeton. Il s’inspire de la façon dont les sociétés humaines tiennent leurs membres « alignés » : normes sociales, justice, incitations financières du marché. « Un agent joue le rôle de la police, l’autre celui du citoyen », résume-t-il. Pendant l’entraînement, les modèles alternent entre « solveur », qui résout un problème, et « auditeur », qui vérifie le travail de l’autre.
Les récompenses dépendent du résultat. Un solveur pris en train de tricher est puni, mais un auditeur qui laisse passer un tricheur l’est aussi. En cas de désaccord, l’affaire peut aller en « procès », où un expert humain tranche. Elad Hazan reconnaît le risque de collusion entre agents, comme des contrôleurs complices des entreprises qu’ils surveillent. Sa réponse : payer assez bien les auditeurs pour que le risque ne vaille pas la peine, et auditer les auditeurs, à la manière des « clients mystères ».
Il s’appuie sur les travaux de l’économiste Gary Becker, prix Nobel, et son « délinquant rationnel » des années 1960 : on enfreint la loi quand les gains dépassent la sanction attendue. Pour Elad Hazan, l’alignement n’est donc pas une propriété d’un modèle, mais une description de son comportement à un moment donné.
Les limites : des IA vraiment rationnelles ?
Ces pistes reposent sur une hypothèse fragile : que les agents IA réagissent rationnellement aux incitations. La conception de mécanismes a un bilan mitigé avec les humains, qui ne se comportent pas toujours comme les modèles économiques le prévoient. Et les grands modèles de langage, ces systèmes qui fonctionnent avec le langage humain, pourraient être aussi difficiles à comprendre que nous.
« Est-il même raisonnable de supposer qu’ils réagiront aux incitations ? », demande Helen Qu, chercheuse au Flatiron Institute, qui a écrit sur le sujet. Stephen Morris concède : « Évidemment, les IA ne sont pas rationnelles. Ce sont juste des algorithmes à l’œuvre. » Selon lui, les traiter comme si elles l’étaient peut malgré tout aider à prédire et à contrôler leur comportement, comme pour les humains en économie.
Helen Qu voit cette approche comme une couche d’une stratégie de « défense en profondeur », aux côtés de l’interprétabilité (comprendre l’intérieur des modèles), de la régulation et de l’entraînement, et non à leur place. Beaucoup de questions restent ouvertes : on ignore comment ces théories s’appliqueront à de vrais modèles de pointe, ou si un mécanisme conçu pour une tâche fonctionnera pour une autre. Les modèles pourraient aussi trouver des failles que personne n’avait prévues. Interrogés, Anthropic et OpenAI n’ont pas répondu à la question de savoir s’ils travaillent sur cette piste.
Ce que cela peut changer pour une entreprise (analyse)
Ce qui suit est notre lecture, pas celle de l’article. Pour une entreprise qui confie des tâches à un agent, l’enseignement n’est pas de se fier à une promesse de bonne conduite, ni à un seul garde-fou. La recherche décrite ici invite plutôt à empiler les protections : contrôles croisés, vérification des résultats par un second système, arbitrage humain en cas de doute.
Une règle tirée de l’exemple d’Elad Hazan paraît transposable : celui qui contrôle doit lui aussi être contrôlé, et chacun doit avoir un intérêt à jouer son rôle. Reste la question de la responsabilité : quand un agent contourne une règle que personne n’avait imaginée, qui en répond ? L’article ne la tranche pas, et ces mécanismes n’ont pas encore été éprouvés sur les modèles de pointe. C’est le point à surveiller avant d’y voir autre chose qu’une piste de recherche.
Sources
Pour aller plus loin Dossier : Les agents IA
