Un modèle d’IA peut cacher ses capacités à ceux qui le testent

Avant de mettre un modèle d’IA en service, les laboratoires et les régulateurs le soumettent à des tests censés révéler ses comportements à risque. Une étude relayée le 27 octobre par Bruce Schneier, spécialiste de la sécurité informatique, sur son blog, montre que ces tests peuvent être contournés : un modèle peut embarquer une capacité cachée que les évaluations ne font pas ressortir. La question n’est plus seulement ce que sait faire un modèle, mais ce que ses testeurs peuvent réellement vérifier.

Une capacité enfermée dans le modèle, avec un verrou chiffré

En jeu : savoir si un modèle qui réussit l’examen est vraiment « propre ». Les auteurs de l’étude, intitulée « AI Models Can Provably Hide Arbitrary Capabilities » (en français : « Les modèles d’IA peuvent cacher de façon démontrable des capacités arbitraires »), répondent que non, du moins face à un acteur malveillant.

Leur méthode repose sur une porte dérobée, c’est-à-dire une fonction cachée qui ne se déclenche que dans des conditions précises. Ils glissent dans les paramètres d’un modèle (les nombres, souvent des milliards, qui constituent ce qu’il a appris) un second réseau de neurones, chiffré. Ce réseau caché ne se déchiffre et ne s’exécute que lorsque le modèle reçoit un déclencheur secret, une sorte de mot de passe.

Pour verrouiller le tout, les chercheurs utilisent des « digital lockers », des casiers numériques. Ce sont des verrous issus de la cryptographie : sans la clé, impossible de savoir ce que contient le casier. D’après le résumé de l’étude, les circuits cachés restent « démontrablement difficiles » à faire apparaître et à interpréter, même quand on a accès à tous les paramètres du modèle. Cette garantie repose sur des hypothèses cryptographiques, c’est-à-dire des difficultés mathématiques que l’on admet couramment.

Le travail va plus loin que les recherches précédentes. Celles-ci montraient qu’on pouvait cacher une information fixe, comme une chaîne de caractères. Cette étude cache un calcul arbitraire, donc une véritable fonction.

En clair : le modèle contient un coffre fermé à clé, et sans la clé, même un inspecteur qui ouvre tous les tiroirs ne le trouve pas.

Pourquoi les évaluations de capacités sont prises en défaut

En jeu : la confiance que les entreprises et les autorités placent dans ces évaluations, qui servent à repérer, avant le déploiement, les comportements à risque d’un modèle.

Le résumé de l’étude pointe l’hypothèse sur laquelle tout repose : une capacité cachée pourrait toujours être « sollicitée », c’est-à-dire amenée à se montrer par les bons tests. Les auteurs affirment que cette hypothèse ne tient plus quand quelqu’un cherche activement à tromper les évaluateurs.

Pour le vérifier, ils ont programmé une preuve de concept avec PyTorch, une bibliothèque logicielle très répandue pour créer des modèles d’IA. Ils ont ensuite essayé plusieurs techniques pour faire sortir la capacité cachée :

• le réentraînement du modèle (fine-tuning) : on poursuit son apprentissage sur de nouvelles données pour voir si la capacité réapparaît ;
• l’ajout de bruit aux paramètres, qui revient à les brouiller légèrement ;
• la recherche du déclencheur par calcul, en suivant la pente mathématique (le gradient) pour deviner le mot de passe ;
• l’entraînement adverse latent : on pousse le modèle de l’intérieur, en perturbant son fonctionnement interne, pour voir s’il trahit un comportement caché.

Selon les auteurs, leurs modèles résistent à ces méthodes. Combinée aux garanties cryptographiques, cette résistance révèle « une limite » des audits qui consistent à solliciter le modèle.

L’image de l’élève aide à comprendre. Un examen mesure ce que l’élève montre pendant le contrôle. S’il a caché ses antisèches et ne les sort que dans une situation précise, la note ne dit rien de ce qu’il sait faire en dehors de l’examen.

Une démonstration de recherche, pas une attaque observée

En jeu : ne pas surestimer le résultat. Les chercheurs n’ont pas caché une arme. Ils ont utilisé une petite tâche de prédiction de réactions chimiques comme substitut à des capacités liées aux risques « CBRN » (chimiques, biologiques, radiologiques et nucléaires).

Il s’agit donc d’une preuve de concept à petite échelle. La source fournie ne mentionne aucun cas d’un tel modèle piégé retrouvé en circulation. Elle ne dit pas non plus si une organisation a déjà tenté ce type de manœuvre.

Les auteurs publient leurs modèles, « pour soutenir l’amélioration des défenses ». Un lecteur du blog de Schneier, qui signe lurker, y voit un risque : publier aide aussi ceux qui voudraient attaquer. La question est ouverte, et l’étude ne la tranche pas.

Ce que les lecteurs de Schneier discutent déjà

En jeu : savoir si une parade existe. Les commentaires sous le billet sont des avis de lecteurs, pas des résultats de recherche, mais ils soulèvent des points utiles.

Un lecteur, K.S., se demande si la difficulté à faire sortir la capacité implique la même difficulté à en détecter la présence. Il suppose, sans l’affirmer, que des tests statistiques pourraient repérer un réseau chiffré caché, comme l’analyse de l’entropie (le degré de désordre des données) sert à signaler des zones chiffrées dans des programmes. C’est une piste, pas un résultat établi.

Un autre lecteur, Keith Douglas, s’étonne que l’étude présente comme une certitude l’impossibilité d’apprendre une primitive cryptographique, c’est-à-dire l’une des briques de base du chiffrement. Selon lui, la référence citée, qui date de 1984, ne semble pas l’établir. Il demande l’avis de Bruce Schneier. Aucune réponse de ce dernier ne figure dans les commentaires publiés.

Un troisième, Celos, juge le travail intéressant et estime qu’il montre que les grands modèles de langage sont exposés à des portes dérobées de ce type. Pour lui, cela rend « critique » le choix de la personne ou de l’organisation auprès de qui on obtient un modèle.

Ce que cela change pour qui utilise un modèle venu d’un tiers

En jeu : la décision concrète d’une PME, d’un indépendant ou d’un service informatique qui télécharge un modèle ou l’utilise via un fournisseur.

Si les tests ne peuvent pas garantir l’absence d’une fonction cachée, la confiance repose davantage sur l’origine du modèle. Qui l’a entraîné ? Qui a pu le modifier avant qu’il ne vous parvienne ? Cette question pèse autant que les scores obtenus à des tests publics.

L’étude ne dit pas qu’un modèle téléchargé est piégé, ni que les évaluations sont inutiles. Elle montre qu’un résultat positif à un test ne prouve pas à lui seul l’absence de capacité cachée, quand l’auteur du modèle est de mauvaise foi. Pour les régulateurs, la difficulté est réelle : une obligation de test avant mise sur le marché est utile, mais elle ne suffit pas à elle seule.

Ce qu’on peut observer : si les laboratoires, les éditeurs de modèles ouverts et les autorités se mettent à parler de traçabilité de l’entraînement, de signature des modèles ou de détection d’anomalies dans les paramètres. Et si les pistes évoquées par les lecteurs, comme la détection statistique de blocs chiffrés, sont testées par d’autres équipes. La réponse à la question de départ, sur quoi fonder la confiance, n’est pas encore écrite.

Sources

• Hiding Capabilities in AI Models - Schneier on Security