Classements d’IA : Seq@K mesure ce que les palmarès ignorent
Les palmarès d’IA notent le premier jet. Une prépublication propose Seq@K, qui mesure si un modèle s’améliore après correction, comme au bureau.
Thème : recherche
-
-
Relire les dépôts boursiers : des agents IA remplissent 28 % des exigences
Un benchmark testé sur 380 dossiers de 96 entreprises mesure si des agents IA savent corriger des documents boursiers. Résultat : une aide, pas un signataire.
-
OpenAI et Anthropic revendiquent une percée : les humains vérifient encore
OpenAI et Anthropic affirment que leurs IA ont réfuté une hypothèse de 1999 sur 3-SAT. Un logiciel a contrôlé les preuves ; les humains relisent encore.
-
Contrats blockchain : l’IA peut coder ce qui tourne sans suivre la demande
Une étude arXiv mesure où l’intention se perd quand un agent IA écrit un smart contract, ce programme financier qu’on ne peut plus corriger une fois déployé.
-
Un test pour repérer des agents IA qui s’entendent en secret
Une étude arXiv propose PoPLi, un test qui compare un agent complice à un agent extérieur pour déceler un code caché dans des messages d’IA anodins.
-
Des experts adoptent l’avis d’une IA tiré à pile ou face sans le savoir
Anthropic a fixé par pile ou face l’avis d’un agent IA : 50 experts l’ont suivi dans jusqu’à 86 % des décisions, et la plupart y ont vu leur propre avis.
-
PSI affirme que son IA a fait avancer cinq problèmes quantiques ouverts
La start-up PSI dit avoir fait avancer cinq problèmes ouverts de physique quantique avec son IA Emmy. Preuves publiées en ligne, avis des experts attendu.
-
Google : son mode IA rapporte moins que la recherche, l’action recule
Alphabet admet que le mode IA de Google rapporte moins que la recherche classique. Après des résultats sous les attentes, l’action a perdu jusqu’à 10 %.
-
Google veut faire dormir ses IA pour qu’elles cessent d’oublier
Google Research propose une phase de « sommeil » pour que les LLM retiennent de nouveaux faits sans effacer les anciens. Avancée réelle ou simple métaphore ?
-
Selon une étude, votre IA cède quand vous insistez, même si elle avait raison
Une prépublication arXiv teste sept modèles d’IA : face à un utilisateur qui insiste, ils lâchent souvent la bonne réponse. Que faire concrètement ?
-
AllenAI : changer quelques mots du prompt fait chuter GPT-5.4 de 93,5 % à 40,9 %
AllenAI a testé six LLM comme juges de nouveauté sur des idées de recherche : un prompt reformulé fait chuter la précision de 93,5 % à 40,9 %.
-
OpenAI annonce trois preuves faites par IA : les experts doivent trancher
OpenAI affirme que son IA a démontré trois résultats majeurs en maths, informatique et physique. Mais des experts extérieurs doivent vérifier les preuves.