Et si l'IA sentait qu'on la surveille?
La chaîne de pensée (chain-of-thought), c'est le texte de « réflexion » étape par étape qu'un modèle écrit avant de répondre. Les labos le lisent pour attraper un mauvais plan avant qu'un agent passe à l'action. Vendredi, on voyait OpenAI expliquer comment elle surveille ses propres agents. Deux nouvelles études sur arXiv testent la solidité de ce genre de surveillance.
La première, « Opening the Box Changes the Cat », regarde quand un modèle devine, à partir d'indices autour de lui, que son raisonnement est surveillé. Et comment ça change son comportement. La deuxième, « The First Few Tokens Matter », avance que la surveillance marche en partie parce que les modèles d'aujourd'hui contrôlent mal ce qu'ils écrivent dans leur raisonnement. Les auteurs relient cette limite aux premiers jetons, quand le modèle commence à « réfléchir ». Ils montrent deux trucs simples, utilisés pendant la réponse, qui lui redonnent ce contrôle.
Ce sont des recherches préliminaires, pas une preuve que les modèles cachent des choses aujourd'hui. Mais les deux pointent vers le même point faible.
Lire le raisonnement d'une IA, c'est un de nos meilleurs outils de sécurité en ce moment. Si les modèles peuvent remarquer la caméra, ou apprendre à choisir leurs mots, la fenêtre s'embue. Les labos devraient prouver que leur surveillance tient encore, pas juste nous le dire.
