Hallucinations de l’IA : un ex-DeepMind mise sur la recette d’AlphaGo
Thore Graepel, ancien de DeepMind, fonde Metis Reasoning pour vérifier chaque conclusion d’une IA contre des preuves. Mais aucun système ni benchmark n’existe.
Un ancien chercheur de DeepMind promet de s’attaquer aux hallucinations des IA avec l’idée qui a permis à AlphaGo de battre un champion de go. Thore Graepel a fondé Metis Reasoning pour bâtir des systèmes qui savent ce qu’ils savent et vérifient chaque conclusion. Pour l’instant, c’est un programme de recherche sur le papier, sans système fonctionnel.
Le pari : transposer la recherche d’AlphaGo au raisonnement général
Thore Graepel défend une idée simple à énoncer. Selon The Decoder, il l’a présentée à la conférence GTC de Nvidia à Berlin, où le fabricant de puces étend sa plateforme pour la robotique et l’IA dite « physique ».
Le raisonnement de Metis est le suivant. Les grands modèles de langage actuels ressemblent au seul réseau de prédiction d’AlphaGo, celui qui propose des coups possibles. Or AlphaGo ne s’arrêtait pas là : il associait ce réseau à une recherche systématique dans les enchaînements de coups. C’est ainsi qu’il a trouvé le fameux « coup 37 », que le réseau seul jugeait improbable (environ une chance sur dix mille pour un joueur humain). Metis veut apporter ce type de recherche au raisonnement général.
Le contexte compte : AlphaGo a battu le professionnel de go Lee Sedol en 2016, dans un jeu aux règles fixes et à l’information complète. Le monde réel ne fonctionne pas ainsi.
Un registre de connaissances plutôt que du savoir dans les poids
Le cœur du projet est ce que le document de l’entreprise appelle un « registre de connaissances » explicite. Il joue le rôle du plateau de jeu. Selon The Decoder, ce registre consigne :
- ce qui est connu ;
- le degré de confiance du système ;
- les questions qui restent ouvertes.
Un module indépendant contrôle chaque nouvelle entrée, par le calcul, par des preuves formelles ou par des données empiriques. Si une hypothèse tombe, toutes les conclusions qui en dépendaient sont réévaluées.
Un « coup » peut être une question, une expérience ou la remise en cause d’une hypothèse. Le système choisit celui qui réduit le plus l’incertitude sur la question de départ. Au bout, il livre soit une réponse, soit une abstention justifiée. Dire « je ne sais pas » devient donc un résultat légitime.
Comme dans AlphaGo, deux réseaux de neurones proposent et évaluent les coups. Ils sont entraînés sur des enquêtes passées, mais ne peuvent pas contourner les règles de vérification.
Metis en attend moins d’hallucinations, des explications avec citations de sources, et un savoir qu’on peut modifier ou supprimer sans réentraîner le modèle. Le raisonnement étant découpé en petites étapes, l’approche pourrait aussi favoriser des modèles plus petits, utilisables sur des appareils ou des robots.
L’idée n’est pas isolée. The Decoder cite GraphRAG de Microsoft, qui organise le savoir hors des poids du modèle dans un graphe de connaissances, et AlphaGeometry2 de Google, qui associe un modèle de langage à un moteur symbolique vérifiant des preuves mathématiques. Metis veut étendre ces principes à des questions ouvertes du monde réel.
Pourquoi les entreprises hésitent encore
Selon Metis, davantage de données et de puissance améliorent les modèles sans régler leurs défauts de fond. Ils fabriquent des réponses. Leurs chaînes de raisonnement ne sont pas vérifiables. Leur savoir est enfermé dans les poids.
Le document avance que les hallucinations viennent de l’entraînement lui-même : les modèles apprennent à produire du texte plausible, pas du texte vrai. Même les « chaînes de pensée » des modèles de raisonnement actuels montrent souvent mal comment une réponse a été obtenue.
C’est, selon le texte, la raison du faible impact économique de l’IA à ce jour. Quand un agent agit pour une entreprise, l’origine d’une erreur est difficile à retrouver, et un savoir erroné ne peut pas être retiré du modèle. L’IA a décollé dans le développement logiciel parce que le code se teste et se corrige facilement. En médecine, en finance, en conception de puces ou en robotique, il faudrait selon Metis une IA vérifiable dès la conception.
À noter : il s’agit de l’argumentaire de la startup, pas d’un constat indépendant.
Ce qui manque : un système, des benchmarks, des comparaisons
Le livre blanc décrit uniquement un programme de recherche. Selon The Decoder, il n’y a ni système opérationnel, ni benchmark, ni comparaison avec les modèles de raisonnement actuels.
L’équipe reconnaît elle-même plusieurs limites :
- le monde réel, contrairement au go, ne fournit qu’une information partielle ;
- les preuves peuvent coûter cher à obtenir ;
- certaines questions n’ont tout simplement pas de réponse.
La grande inconnue est ailleurs. Comment construire un registre de connaissances vérifié dans des domaines désordonnés, loin des exemples de manuel ? The Decoder rappelle que les systèmes d’IA symbolique ont autrefois échoué précisément parce que tout leur savoir devait être saisi à la main. Le registre de Metis évitera-t-il ce piège ? Le document ne le démontre pas.
Un parcours solide, des levées annoncées
Graepel a obtenu son doctorat en apprentissage automatique à Berlin en 2001, selon son site cité par The Decoder. Chez Microsoft Research, il a participé à TrueSkill, le système d’appariement de Xbox Live. Chez DeepMind, il a travaillé sur AlphaGo, AlphaZero et MuZero. Après un passage chez Altos Labs, il siégeait à l’équipe « post-AGI » de Google DeepMind, qu’il a quittée durant l’été. Il détient aussi la chaire d’apprentissage automatique de l’University College London.
Selon Bloomberg, cité par The Decoder, il lève un tour de quelques dizaines de millions de dollars pour Metis. Une levée de plusieurs centaines de millions à une valorisation plus élevée serait déjà en préparation. Ces chiffres relèvent de la presse et ne sont pas confirmés par l’entreprise dans la source.
Graepel n’est pas le seul à partir. David Silver a fondé Ineffable Intelligence et bouclé, selon The Decoder, la plus grosse levée d’amorçage d’une startup européenne. Tim Rocktäschel a cofondé Recursive, valorisée 4,65 milliards de dollars. D’après le Financial Times, DeepMind aurait dissous l’équipe d’AlphaFold, et John Jumper, prix Nobel, serait parti chez Anthropic avec deux collègues. CNBC explique cet exode en partie par un accès limité aux puces TPU de Google et par la bureaucratie.
Ce que cela change pour qui utilise un chatbot aujourd’hui
Pour l’instant, rien. Aucun produit n’existe, et l’on ne sait pas si l’approche tiendra hors des cas bien cadrés.
L’intérêt est ailleurs : le projet pose des critères que tout utilisateur peut appliquer dès maintenant à un assistant IA. Cite-t-il des sources qu’on peut vérifier ? Sait-il dire qu’il ne sait pas ? Peut-on corriger une information fausse sans tout recommencer ?
Testez-le : posez à votre chatbot une question dont vous connaissez la réponse, puis une question sans réponse établie. Observez s’il invente ou s’il s’abstient. Tant que Metis n’aura pas publié de résultats comparables, ce test restera plus parlant que la promesse.
