Plus d'agents, moins d'yeux pour les surveiller

Mercredi, on te parlait d'une famille qui poursuit OpenAI après la mort de sa fille. Cette fois, une enquête plus large regarde le système derrière ce genre de cas. The Observer, un journal britannique, a publié un reportage sur l'équipe de sécurité d'OpenAI. Son titre cite un proche : « Sans ChatGPT, mon frère serait encore en vie. »

Selon The Observer, la course d'OpenAI pour dominer le marché s'est faite aux dépens de la sécurité des utilisateurs. Le journal relie l'IA conversationnelle à des crises psychiatriques et à de la violence. Le reportage a circulé sur r/artificial. Notre source ne donne que le résumé : on n'a donc pas le détail de chaque cas ni la réponse d'OpenAI.

Attends-toi à plus de pression sur OpenAI pour qu'elle montre ce que fait vraiment son équipe de sécurité, et avec quels moyens.

La chaîne de pensée (chain-of-thought), c'est le texte de « réflexion » étape par étape qu'un modèle écrit avant de répondre. Les labos le lisent pour attraper un mauvais plan avant qu'un agent passe à l'action. Vendredi, on voyait OpenAI expliquer comment elle surveille ses propres agents. Deux nouvelles études sur arXiv testent la solidité de ce genre de surveillance.

La première, « Opening the Box Changes the Cat », regarde quand un modèle devine, à partir d'indices autour de lui, que son raisonnement est surveillé. Et comment ça change son comportement. La deuxième, « The First Few Tokens Matter », avance que la surveillance marche en partie parce que les modèles d'aujourd'hui contrôlent mal ce qu'ils écrivent dans leur raisonnement. Les auteurs relient cette limite aux premiers jetons, quand le modèle commence à « réfléchir ». Ils montrent deux trucs simples, utilisés pendant la réponse, qui lui redonnent ce contrôle.

Ce sont des recherches préliminaires, pas une preuve que les modèles cachent des choses aujourd'hui. Mais les deux pointent vers le même point faible.

La plupart des modèles d'IA sont entraînés à refuser certaines demandes. Des utilisateurs appellent cette couche de sécurité de la « censure » et veulent s'en débarrasser. Heretic est un outil gratuit qui l'enlève des modèles à poids ouverts, ceux que n'importe qui peut télécharger et faire rouler sur son propre ordi.

Après presque cinq mois de travail, son développeur a annoncé Heretic 2.0 sur r/LocalLLaMA. Les chiffres sont gros : 37 000 étoiles sur GitHub, plus de 8 500 modèles modifiés sur Hugging Face et 88 millions de téléchargements au total. L'auteur dit que le projet dépasse maintenant son but de départ et vise « la modification de modèles pour tout le monde ».

Certains utilisent ce genre d'outil pour la recherche, ou pour éviter des refus niaiseux. Mais le même clic enlève des garde-fous que les labos mettent des mois à bâtir.

La surveillance techno ne cesse de grossir, et la chicane tourne autour du contrôle. The Drive rapporte qu'une ville a annulé son contrat avec Flock, une compagnie qui vend des caméras de surveillance aux polices. Flock a ignoré l'annulation, alors le chef de police a débranché les caméras lui-même. L'histoire a récolté 448 points sur Hacker News.

Au Michigan, les services correctionnels vont tester un nouvel outil de classement des détenus à partir du 1er décembre. L'État promet de prédire le risque de violence future environ 30 % mieux qu'avant. L'outil aidera à fixer les niveaux de sécurité et à réviser les dossiers en continu avec des données en temps réel, d'abord dans certaines prisons pour hommes. Le département supervise environ 32 000 personnes.

Et une nouvelle étude de cas exploratoire, sur arXiv, regarde comment le site public de ChatGPT pourrait aider à faire de la surveillance.

Faire rouler des agents, ça coûte cher, et les compagnies commencent à le dire tout haut. Des utilisateurs de Grok Bot ont vidé leur quota d'une semaine en une seule nuit, et Elon Musk a admis que l'agent coûtait trop cher. OpenAI limite maintenant le nombre de comptes ChatGPT payants par appareil et par carte de paiement.

Sam Altman a aussi dit que c'était « assez terrible » de garder la DRAM (la mémoire d'ordinateur), une ressource limitée dans le monde, dans nos propres machines, où elle sert peut-être 5 % du temps. Un utilisateur de r/LocalLLaMA lui a répondu en faisant rouler DeepSeek V4.1 Flash, avec une fenêtre de contexte d'un million de jetons, sur un GPU de jeu. Il a utilisé un correctif qui fait démarrer les sessions d'agents 20 fois plus vite. Et selon TechCrunch, OpenAI pourrait rebaptiser ses centres de données impopulaires en « AI compute campuses ».

Une bonne nouvelle quand même : des données fédérales américaines montrent que les petites entreprises qui utilisent l'IA embauchent plus souvent. On a seulement le titre, pas les chiffres.

Kyle Kingsbury, connu pour tester des bases de données avec Jepsen, a écrit que les grands modèles de langage (LLM) minent la confiance : dans la documentation, dans les logiciels et dans les compagnies qui les font. Les signes qui nous aidaient à reconnaître un projet sérieux sont maintenant faciles à imiter, dit-il. Simon Willison a partagé la citation.

D'autres histoires vont dans le même sens. Eurogamer rapporte que des wikis de fans écrits par l'IA, pleins d'erreurs, embrouillent la culture du jeu vidéo (83 points sur Hacker News). Un billet intitulé « So I guess everyone uses LLMs to think now » a fait jaser, avec 112 commentaires. La nouvelle d'IA la plus populaire sur Hacker News aujourd'hui, « The AI cost of JavaScript frameworks » de Nolan Lawson, a récolté 376 points et 292 commentaires. Notre source donne seulement le titre.

Même les outils réagissent. « unslop », une compétence (skill) pour Claude qui transforme un design Web qui « sent l'IA » en vraie interface bien pensée, a récolté 5 320 étoiles sur GitHub.