Moins de 10 neurones suffisent pour piéger un agent
Suite de mercredi 4 novembre: Le coup d'Astra sur Qwen se fait contesterTu te souviens de notre jeton de la semaine passée sur GPT-6 Astra, qui modifiait une toute petite partie des poids d'un petit modèle Qwen? Les poids, ce sont les milliards de nombres qui forment un modèle. Ces petites retouches sont devenues tout un domaine. Aujourd'hui, on voit leur côté sombre.
Un billet sur r/LocalLLaMA affirme que Microsoft Research a caché une backdoor dans un agent d'IA en modifiant directement moins de 10 neurones « dormants », des parties du modèle qui restent d'habitude tranquilles. Une backdoor, c'est un déclencheur caché qui pousse le modèle à mal se comporter. L'auteur met en garde ceux qui font rouler des modèles modifiés « douteux ». Il se demande si des « agents dormants » (sleeper agents) pourraient devenir une vraie attaque. On a seulement le billet Reddit, pas les détails de la recherche.
D'autres travaux vont dans le même sens. Un article sur le Deletion Tuning montre que mettre à zéro moins de 0,05 % des poids d'un modèle peut donner le même résultat qu'un ajustement fin (fine-tuning) complet. Et Tree-Ising, un nouvel article, s'appuie sur les travaux d'Astra pour réparer des modèles en changeant à peine quelques bits.
Si quelques neurones peuvent apprendre de bons tours à un modèle, ils peuvent aussi en cacher de mauvais, et un test normal risque de ne jamais les voir. Avant de faire rouler un modèle gratuit d'une source inconnue, demande qui l'a fait et qui l'a vérifié. Trop souvent, la réponse honnête, c'est personne.
