L'IA écrit-elle du code déjà dépassé?

Qui surveille les gros labos d'IA? Jusqu'ici, surtout les labos eux-mêmes. New York veut changer ça. Selon TechCrunch, l'État se prépare à faire appliquer sa grande loi sur la sécurité de l'IA.

Les grands développeurs comme OpenAI et Anthropic doivent s'enregistrer auprès de l'État. Ils doivent dévoiler leurs pratiques de sécurité. Et ils doivent déclarer leurs incidents critiques, sinon gare aux amendes. Nos sources ne précisent ni les délais de déclaration ni le montant des amendes.

Ça arrive juste après les élections de mi-mandat aux États-Unis. Selon l'infolettre AI Safety Newsletter du CAIS, les électeurs ont favorisé les candidats qui appuient l'encadrement de l'IA, même si les défenseurs de la sécurité ne s'entendent pas sur la stratégie. Hier, on voyait l'Australie avancer vers des délais pour déclarer les incidents d'IA. Deux gouvernements, la même semaine, la même idée : avertissez-nous quand ça tourne mal.

Grok Build, c'est un agent de programmation : une IA qui écrit et publie des applications pour toi. Ars Technica rapporte qu'un chercheur en sécurité a trouvé 35 000 applications Grok Build grandes ouvertes, à la portée de n'importe qui.

Selon Ars, ces applications laissent fuir beaucoup d'informations confidentielles. Une partie appartient à SpaceXSI, un labo d'IA de pointe. Nos sources ne disent pas combien de temps les applications sont restées exposées, ni si quelqu'un a utilisé ces données.

Même histoire qu'hier, nouvel outil. Hier, c'étaient les fichiers de configuration de Claude Code qui exposaient des mots de passe et des clés d'API. Samedi dernier, c'étaient des centaines d'outils de piratage IA laissés ouverts sur Internet. Des compagnies différentes, la même faiblesse : les agents bâtissent et publient vite, et personne ne vérifie ce qu'ils laissent ouvert.

Il y a deux semaines, Google réservait Gemini 4 Carbon à un petit groupe de « défenseurs en cybersécurité ». Maintenant, tout le monde peut l'utiliser. Google le présente comme son modèle le plus puissant à ce jour, capable de rivaliser avec les meilleurs d'Anthropic et d'OpenAI. Il arrive avec une fonction d'« essaim » (swarm) d'agents : plusieurs agents qui travaillent ensemble.

Simon Willison note le prix de lancement : 2 $ par million de jetons en entrée et 10 $ par million en sortie. Un jeton, c'est un petit morceau de texte. Le 1er décembre, le prix double, à 4 $ et 20 $. Le lancement a récolté 287 points sur Hacker News.

Google DeepMind a aussi présenté AlphaProof Code. Ses agents ont écrit trois millions de lignes de preuves en Lean, un langage qui permet à un ordinateur de vérifier des maths. Le but : valider le chiffrement de base de Signal. Et sur Hacker News (429 points), la firme de sécurité VulnCheck a publié sa mise à jour de novembre, qui suit les vulnérabilités découvertes par Anthropic.

Tu te souviens de notre jeton de la semaine passée sur GPT-6 Astra, qui modifiait une toute petite partie des poids d'un petit modèle Qwen? Les poids, ce sont les milliards de nombres qui forment un modèle. Ces petites retouches sont devenues tout un domaine. Aujourd'hui, on voit leur côté sombre.

Un billet sur r/LocalLLaMA affirme que Microsoft Research a caché une backdoor dans un agent d'IA en modifiant directement moins de 10 neurones « dormants », des parties du modèle qui restent d'habitude tranquilles. Une backdoor, c'est un déclencheur caché qui pousse le modèle à mal se comporter. L'auteur met en garde ceux qui font rouler des modèles modifiés « douteux ». Il se demande si des « agents dormants » (sleeper agents) pourraient devenir une vraie attaque. On a seulement le billet Reddit, pas les détails de la recherche.

D'autres travaux vont dans le même sens. Un article sur le Deletion Tuning montre que mettre à zéro moins de 0,05 % des poids d'un modèle peut donner le même résultat qu'un ajustement fin (fine-tuning) complet. Et Tree-Ising, un nouvel article, s'appuie sur les travaux d'Astra pour réparer des modèles en changeant à peine quelques bits.

Jeudi dernier, IEEE Spectrum disait que l'IA nous force à rembourser 40 ans de dette technique, ce vieux code brouillon qu'on n'a jamais réparé. Aujourd'hui, la nouvelle d'IA la plus populaire sur Hacker News pose la question inverse : est-ce que l'IA crée une nouvelle dette? Un billet d'Evan X. Merz, intitulé « AI usage generates a fragile codebase », a récolté 605 points et 574 commentaires. Autant de commentaires, ça montre que les développeurs ont des opinions tranchées.

Une deuxième nouvelle pointe une cause possible. L'équipe de Google Chrome a publié un guide gratuit sur GitHub pour faire passer les agents de programmation du « JavaScript de 2019 environ » aux outils modernes du Web. En clair : les agents écrivent souvent du code Web à l'ancienne, parce que c'est ce qu'ils ont appris. Le guide a récolté 401 points.

Le débat n'est donc plus seulement « l'IA peut-elle écrire du code? ». C'est plutôt « pourra-t-on vivre avec son code dans cinq ans? »

L'IA locale, c'est un modèle qui roule sur ton propre ordinateur, pas dans le cloud d'une compagnie. Tes questions et tes fichiers restent chez toi. Pour l'instant, l'installer reste un peu technique pour la plupart des gens.

Selon 9to5Mac, Apple prépare une nouvelle application Mac pour faciliter l'utilisation de modèles d'IA en local. La nouvelle a récolté 358 points et 352 commentaires sur Hacker News, et fait jaser sur r/LocalLLaMA. Nos sources ne donnent ni nom, ni date, ni liste de modèles : prends ça comme une info préliminaire.

Ça colle à une tendance claire. Les outils locaux s'améliorent sans arrêt, comme le projet gratuit qu'on a vu lundi, qui dit faire rouler un modèle de 284 milliards de paramètres sans GPU.