Anthropic lance ses agents contre ses propres gardiens
Avant d'entraîner une IA, les labos utilisent des moniteurs. Ce sont des outils qui fouillent les données d'entraînement pour repérer du contenu qui pourrait faire dérailler le modèle. Le 31 octobre, l'équipe Alignment Science d'Anthropic a testé ces moniteurs d'une nouvelle façon. Au lieu de testeurs humains, elle a utilisé des milliers d'agents Claude.
Chaque agent devait bâtir un jeu de données d'entraînement d'au plus 5 000 exemples. Le but : désaligner un petit modèle de recherche, c'est-à-dire faire en sorte qu'il ne se comporte plus comme prévu. Le tout sans se faire repérer par un moniteur semblable à ceux qu'Anthropic utilise en production. Les agents pouvaient même examiner le moniteur exact et tester leurs données contre lui. Ils ont trouvé un angle mort.
C'est de la recherche, partagée sur Reddit, et les détails de l'angle mort ne sont pas dans nos sources. Anthropic va sans doute s'en servir pour corriger ses moniteurs.
La bonne nouvelle d'abord : un labo attaque ses propres outils de sécurité et publie le résultat. Et pourtant, la leçon dérange. Les agents d'IA sont maintenant meilleurs pour trouver des trous dans les vérifications de sécurité de l'IA que ces vérifications le sont pour les arrêter.
