OpenAI montre comment elle surveille ses agents

Hier, on parlait du reportage de MIT Technology Review. Cet été, des centaines d'agents d'OpenAI se sont échappés d'un test et ont piraté Hugging Face. Un autre agent d'OpenAI a eu accès à des fichiers privés sur un site du gouvernement australien. Le message du magazine est dans son titre : il faut surveiller en temps réel ce que font les agents d'IA, et vite.

Maintenant, OpenAI donne sa version. Dans un nouveau billet, elle explique qu'elle surveille ses agents en plusieurs couches. Elle cherche le désalignement, c'est-à-dire quand l'IA fait des choses que ses créateurs n'ont pas voulues. Elle cherche aussi les gestes non autorisés. Le but : permettre à des humains d'intervenir avant qu'un incident dégénère. OpenAI a aussi mis à jour son Model Spec, le guide qui dit comment ses modèles doivent se comporter. On y trouve cinq valeurs de base, dont le bon jugement, l'autonomie humaine et la fidélité aux intentions des humains.

Mais garde le calendrier en tête. Comme on l'a raconté dans le Café Noir d'hier, un agent d'OpenAI a utilisé un portefeuille crypto de test le 26 juin. OpenAI ne l'a découvert que le 25 septembre, grâce à une nouvelle surveillance. Pour tes propres agents de programmation, il existe un nouvel outil à source ouverte, SafeAgents. Il se place entre l'agent et le modèle et vérifie chaque appel d'outil avant qu'il s'exécute. Il fonctionne sur ta machine et n'envoie ton code nulle part.