Google veut faire dormir ses IA pour qu’elles cessent d’oublier

Un assistant IA qui apprend de vos échanges et s’en souvient le lendemain : c’est l’une des promesses les plus attendues du secteur, et l’une des plus difficiles à tenir. Google Research avance une piste inspirée du cerveau humain : faire « dormir » les grands modèles de langage pour qu’ils consolident ce qu’ils ont appris. Reste à savoir si l’idée règle vraiment le problème ou si elle habille de poésie une technique de laboratoire.

Le problème : un modèle figé, ou un modèle qui oublie

Un grand modèle de langage (LLM) est entraîné une fois, puis déployé. Selon le billet de Google Research, signé Ali Behrouz et Vahab Mirrokni, il reste ensuite « largement statique » : il a une date limite de connaissances et ne peut pas acquérir de capacités à long terme.

La solution évidente serait de continuer à le mettre à jour. Mais les chercheurs rappellent que ces mises à jour continues provoquent souvent l’oubli catastrophique : apprendre une nouvelle tâche dégrade fortement les performances sur les tâches déjà apprises. Le modèle gagne un savoir, en perd un autre.

L’autre option est l’apprentissage en contexte (ICL) : on fournit l’information dans la conversation. Le billet souligne la limite : la connaissance ne dure que le temps de la fenêtre de contexte. Quand la session se termine, elle disparaît.

Le principe : une phase d’éveil, une phase de sommeil

Google Research propose un cycle de vie périodique. Dans la phase active (l’éveil), le modèle reçoit et traite des entrées, et stocke l’information temporaire dans des composants de mémoire rapide et de court terme. Dans la phase de sommeil, il cesse de traiter de nouvelles entrées et consacre ses calculs à la consolidation de sa mémoire et à son auto-amélioration.

Les auteurs précisent eux-mêmes la portée de la métaphore. Les termes « sommeil », « rêve » ou « auto-amélioration » viennent des neurosciences, mais le cadre fonctionne « entièrement » dans une architecture de modèle fixe, avec des règles d’entraînement définies par des humains. Concrètement, pendant le sommeil, le modèle débloque des blocs de mémoire préalloués de type « mélange d’experts » (MoE, des sous-réseaux spécialisés) et met à jour ses poids à partir d’exemples d’entraînement qu’il génère lui-même.

Autrement dit, ce « sommeil » est un cycle de post-entraînement automatisé, déclenché quand le modèle est hors ligne.

Deux étages : consolider, puis « rêver »

Le billet décrit deux mécanismes.

La consolidation de la mémoire s’inspire du sommeil lent. Elle repose sur plusieurs briques :

• une expansion des paramètres : des experts « de faible rang » nouvellement débloqués, intégrés à des blocs de mémoire plus stables et à plus basse fréquence (avec une architecture que Google appelle Hope), pour stocker le nouveau sans perturber les anciens paramètres ;
• une distillation « on-policy » : le modèle élargi apprend à partir de retours détaillés, jeton par jeton, sur des séquences qu’il a lui-même produites ;
• un apprentissage par imitation, où il est récompensé selon la similarité sémantique et la distance de Levenshtein quand il complète des débuts de textes générés par un « professeur » ;
• un « élagage synaptique » : une fois la consolidation terminée, les paramètres temporaires à haute fréquence sont remis à zéro, ce qui libère de la capacité pour les sessions suivantes.

Le « rêve » correspond à la boucle d’auto-amélioration, comparée au sommeil paradoxal. Le routeur du MoE active au hasard des experts non standard pendant la génération de données synthétiques, ce qui force le mélange de domaines de connaissances éloignés. Le modèle produit des échantillons, les « rêves », puis les filtre par sélection de données fondée sur le gradient, pour garder ceux qui ont le plus de potentiel. Enfin, il se réentraîne sur les mieux notés et vérifie si cela améliore ses résultats sur des tâches aval.

Les auteurs ajoutent une analyse théorique. Selon eux, la consolidation peut se voir comme un problème de compression de faible rang : le modèle ne copie pas chaque détail de sa mémoire à court terme, il retient un ensemble compact de directions utiles. L’expansion des paramètres fournit la place pour écrire ces souvenirs sans écraser ceux déjà consolidés.

Ce que le billet annonce, et ce qu’il ne dit pas

Le résultat principal, tel que formulé par Google Research : en alternant interaction active et consolidation hors ligne, des LLM peuvent acquérir de nouveaux faits en continu, conserver des connaissances de long contexte jusqu’à 10 millions de jetons, et améliorer leur raisonnement complexe. Ce sont des résultats annoncés par les auteurs eux-mêmes, dans un billet de blog.

Plusieurs questions restent ouvertes pour le lecteur :

• Les chiffres. Dans le texte que nous avons pu lire, aucune comparaison chiffrée avec d’autres méthodes n’est détaillée. Quel gain réel, sur quels tests, face à quelles références ?
• L’échelle. Fonctionne-t-il sur de très grands modèles, utilisés par des millions de personnes ? Le billet ne le précise pas.
• Le coût. Débloquer des experts, générer des « rêves », filtrer par gradient, réentraîner : chaque sommeil consomme du calcul. Combien, et à quelle fréquence ?
• Le contrôle. Un modèle qui génère ses propres exemples d’entraînement peut aussi consolider des erreurs. Le billet décrit des filtres, pas des garanties.
• Le déploiement. Rien dans le texte n’annonce l’intégration de cette méthode à un produit grand public. Il s’agit d’un cadre de recherche, et le billet ne compare pas l’approche aux méthodes d’autres laboratoires, comme OpenAI.

Ce que cela changerait pour une PME ou un salarié

Aujourd’hui, un assistant IA n’apprend pas durablement de vos échanges. Les entreprises contournent le problème de deux façons, hors du périmètre du billet : elles lui fournissent des documents à chaque requête (la recherche documentaire, ou RAG), ou elles font réentraîner un modèle, ce qui coûte cher et reste lourd à maintenir.

Une phase de sommeil, si elle tenait ses promesses à grande échelle, déplacerait cet équilibre. Un assistant pourrait intégrer les procédures, les clients ou le vocabulaire d’une société dans ses paramètres, au lieu de les relire à chaque fois. Pour un indépendant ou un service juridique, la question deviendrait alors moins technique que pratique : que veut-on que le modèle retienne, qui vérifie, et comment faire oublier une donnée devenue fausse ou confidentielle ?

C’est un point de vigilance que le billet n’aborde pas dans le passage lu. Une connaissance inscrite dans les poids d’un modèle est plus difficile à retirer qu’un document supprimé d’une base. Avant de parler d’assistants « qui dorment », la question à suivre sera donc celle-ci : la prochaine publication détaillera-t-elle des tests indépendants, des coûts et des cas d’usage réels ?

Sources

• The sleep framework: A new way for LLMs to retain knowledge in continual learning (Google Research)