Relire les dépôts boursiers : des agents IA remplissent 28 % des exigences

Aux États-Unis, une entreprise qui veut entrer en bourse doit répondre aux remarques du gendarme boursier sur ses documents officiels. Des chercheurs ont voulu savoir si des agents IA pouvaient tenir ce rôle de relecteur et de correcteur. Leur réponse chiffrée est prudente, et elle pose une question simple : à qui revient la responsabilité d’un texte corrigé par une machine ?

Ce qui est en jeu : des documents que la loi oblige à publier

Une société cotée, ou qui prépare son entrée en bourse, doit déposer des documents détaillés auprès de la SEC, la Securities and Exchange Commission, le régulateur des marchés américains. Ces textes sont publics. Ils sont consultables sur EDGAR, une base en ligne où tout investisseur peut les lire. Selon les auteurs de l’article publié sur arXiv, cet accès sert à éclairer les décisions d’investissement.

Pour le lecteur, l’enjeu est concret : ces documents décrivent les risques, les comptes et les activités d’une entreprise. Une omission peut tromper un épargnant. La relecture de ces dépôts est donc un métier à part entière, exercé par des juristes, des comptables et des équipes de conformité. Les chercheurs se demandent si des agents IA, c’est-à-dire des programmes qui enchaînent plusieurs actions seuls (chercher une information, rédiger, vérifier), peuvent y contribuer.

Ce que FilingLoop mesure vraiment

FilingLoop est à la fois un banc d’essai (un « benchmark », une batterie d’épreuves standardisées) et un cadre pour faire progresser les agents. Les auteurs partent d’un constat : les tests existants en finance se limitent surtout à des questions-réponses. Ils jugent que ces tests prouvent peu de choses sur la capacité à travailler de façon interactive.

Les épreuves reposent sur de vrais échanges passés entre la SEC et des entreprises. Les chercheurs en ont reconstitué 380 cas, concernant 96 sociétés, en majorité des introductions en bourse. Chaque cas fixe des contraintes sur les informations que l’agent peut consulter.

Trois capacités sont visées :

• découvrir des lacunes non écrites : le problème n’est pas toujours signalé noir sur blanc, il faut le déduire en croisant plusieurs documents liés ;
• aller chercher les faits manquants sur l’entreprise ;
• vérifier que les corrections demandées satisfont bien des exigences appuyées sur des preuves.

La notation est confiée à un évaluateur distinct des agents qui travaillent. Il confronte les dépôts finaux et les réponses à 6 099 exigences retenues, soit environ seize par cas en moyenne. Il traque aussi deux défauts : les affirmations sans fondement et les révisions « nuisibles », c’est-à-dire des corrections qui aggravent le texte.

En clair : le test ne demande pas seulement à l’IA d’écrire joliment. Il vérifie si elle a trouvé ce qui manquait, avec quelles preuves, et si sa correction n’a rien abîmé.

Un agent qui apprend de ses erreurs, sans être réentraîné

Le second volet est un agent dit « auto-évolutif ». Il travaille par boucles : il relit, révise, puis reçoit un retour de l’évaluateur sur chaque exigence satisfaite ou non. Ce retour est transformé en consignes propres à chaque rôle de l’agent, sans modifier le modèle de langage sous-jacent (ses « poids », le réglage interne qui fait sa mémoire de base). On parle d’apprentissage procédural : l’agent n’en sait pas plus sur le monde, il affine sa méthode de travail.

Un garde-fou méthodologique mérite d’être noté. Les consignes apprises ne servent que pour les cas suivants. L’agent ne retente jamais un dossier déjà noté, ce qui évite de gonfler le score en lui faisant rejouer l’examen.

Les résultats, d’après les auteurs :

Mesure	Agent à méthode fixe	Agent qui évolue
Exigences satisfaites	24,28 %	27,96 %
Remarques entièrement résolues	16,90 %	20,75 %

Le coût total augmente de 5,8 % par rapport à la version fixe, selon l’article.

Des chiffres modestes : ce qu’ils disent, ce qu’ils ne disent pas

Il faut lire ces pourcentages avec calme. Le gain est d’environ 3,7 points sur les exigences et de 3,85 points sur les remarques résolues, soit une amélioration relative d’environ 15 % pour la première mesure. C’est un progrès mesurable, obtenu pour un surcoût limité.

Mais le niveau absolu reste bas. Même après apprentissage, un peu plus d’une exigence sur quatre est satisfaite. Environ une remarque sur cinq est réglée complètement (20,75 %) ; avec la méthode fixe, on tombe à 16,90 %, soit moins d’une sur cinq. En clair : sur cette épreuve difficile, l’agent le plus performant rate l’essentiel de ce qu’un contrôleur attendrait. Ce n’est pas un remplaçant, c’est un banc d’essai qui montre l’ampleur du chemin restant.

Plusieurs limites s’imposent aussi :

• Ce n’est pas un produit. FilingLoop est un travail de recherche déposé sur arXiv, une plateforme où les textes circulent sans être nécessairement évalués par des pairs. Il ne s’agit pas d’un outil vendu aux entreprises.
• Le périmètre est étroit. Les cas sont surtout des introductions en bourse américaines, reconstruites à partir de correspondances passées. Rien dans le résumé de l’article scientifique (l’« abstract », sa présentation en quelques lignes) ne dit que ces résultats valent pour d’autres types de documents ou d’autres pays.
• La grille de notation reste une grille. Les 6 099 exigences et l’évaluateur sont le choix des auteurs. Un dossier peut satisfaire toutes les exigences listées et rester discutable pour un juriste. À l’inverse, une correction jugée insuffisante peut être acceptable en pratique.
• Certains détails manquent dans ce résumé. Il ne précise pas quels modèles ont été testés ni comment le travail se compare à celui d’un professionnel humain. Ce sont des questions à poser au texte complet.

Assistant de relecture ou signataire responsable ?

Pour un salarié de la finance, de la comptabilité ou de la conformité, la lecture raisonnable de ces résultats est celle d’un assistant. Un agent qui propose des pistes, signale une incohérence entre deux documents ou rassemble des faits peut faire gagner du temps. Rien dans l’étude ne laisse penser qu’il puisse endosser la responsabilité d’un document officiel.

Le fait que les auteurs auditent les « révisions nuisibles » est d’ailleurs révélateur. Une IA qui corrige peut introduire une erreur, ou une affirmation que rien n’étaye, dans un texte que quelqu’un devra signer. En l’état, et c’est notre interprétation plus qu’un constat de l’étude, ce sont l’entreprise et ses signataires qui répondent du contenu devant le régulateur, pas le logiciel.

Quelques questions restent ouvertes, et le lecteur gagnerait à se les poser avant d’imaginer ce type d’outil dans son service :

• Quel taux d’exigences manquées est acceptable quand l’erreur peut engager l’entreprise ?
• Comment vérifier le travail d’un agent sans refaire soi-même toute la relecture ?
• Qui trace et conserve les raisons d’une correction, au cas où le régulateur les demanderait ?

Le prochain point à observer est de savoir si d’autres équipes reproduiront ces résultats sur des dossiers plus variés, et si les scores franchiront un jour un seuil qui change la nature du débat. D’ici là, FilingLoop mesure surtout l’écart entre une IA qui sait relire un texte et un contrôleur qui sait de quoi il répond.

Sources

• FilingLoop: Evaluating and Evolving LLM Agents for Corporate Disclosure Review and Revision (arXiv)