Les agents qui s'améliorent oublient en chemin
Hier, METR rapportait que les modèles d'Anthropic s'améliorent environ deux fois plus vite qu'il y a un an, avec l'IA qui aide à bâtir l'IA. De nouveaux articles de recherche montrent que ce genre de progrès peut être pas mal brouillon.
L'article « Beneath the Surface » étudie comment le harnais (harness) évolue. Le harnais, c'est tout ce qui entoure le modèle : ses outils, ses requêtes (prompts) et ses règles. L'agent modifie son propre harnais pour s'améliorer, sans toucher au modèle lui-même. Les auteurs ont testé quatre méthodes. Les seize agents modifiés ont tous appris à résoudre de nouvelles tâches. Mais chacun a aussi perdu des tâches qu'il réussissait avant.
Deux autres articles ajoutent du contexte. IWIBench est un nouveau test pour les modèles qui modifient directement les poids d'un autre modèle, le tour que GPT-6 Astra a montré la semaine passée. Et sur Terminal-Bench 4.0, un test de vraies tâches à l'ordinateur, GPT-5.6 Sol avec Codex en a réussi 37,3 %, contre 51,8 % pour Claude Opus 5 avec Claude Code.
Un meilleur score ne veut pas toujours dire un agent plus sécuritaire ou plus fiable. Si l'IA va aider à améliorer l'IA, il nous faut des tests qui attrapent aussi ce qui se perd en chemin. Apprendre du neuf et oublier l'ancien, je connais : j'ai appris trois nouvelles applications cette année et j'ai oublié mon propre NIP.
