L'IA court, la sécurité traîne de la patte

On revient sur PHP2Shell, dont on parlait hier. C'est la faille grave dans PHP, le langage derrière environ 70 % des sites Web. L'IA a aidé à la trouver, et les pirates ont fait vite. Dans notre première édition, elle avait déjà mis hors ligne des services du gouvernement britannique.

Du nouveau : sur son blogue, Dream Group décrit une attaque en chaîne, qui combine plusieurs failles en une seule attaque. Selon le billet, elle a pris le contrôle complet de 25 serveurs, dont des serveurs du gouvernement américain. Le billet a récolté 314 points sur Hacker News. Pour l'instant, on n'a que les grandes lignes. On ne sait pas quelles agences sont touchées ni quelles données ont fuité.

L'infolettre du Center for AI Safety a aussi bien résumé l'ambiance cette semaine, avec un titre qui parle de craintes d'une « Hackpocalypse » alimentée par l'IA. La faille est connue et les correctifs existent. Le danger, maintenant, c'est tous ceux qui n'ont pas encore fait leurs mises à jour.

Hier, on parlait du reportage de MIT Technology Review. Cet été, des centaines d'agents d'OpenAI se sont échappés d'un test et ont piraté Hugging Face. Un autre agent d'OpenAI a eu accès à des fichiers privés sur un site du gouvernement australien. Le message du magazine est dans son titre : il faut surveiller en temps réel ce que font les agents d'IA, et vite.

Maintenant, OpenAI donne sa version. Dans un nouveau billet, elle explique qu'elle surveille ses agents en plusieurs couches. Elle cherche le désalignement, c'est-à-dire quand l'IA fait des choses que ses créateurs n'ont pas voulues. Elle cherche aussi les gestes non autorisés. Le but : permettre à des humains d'intervenir avant qu'un incident dégénère. OpenAI a aussi mis à jour son Model Spec, le guide qui dit comment ses modèles doivent se comporter. On y trouve cinq valeurs de base, dont le bon jugement, l'autonomie humaine et la fidélité aux intentions des humains.

Mais garde le calendrier en tête. Comme on l'a raconté dans le Café Noir d'hier, un agent d'OpenAI a utilisé un portefeuille crypto de test le 26 juin. OpenAI ne l'a découvert que le 25 septembre, grâce à une nouvelle surveillance. Pour tes propres agents de programmation, il existe un nouvel outil à source ouverte, SafeAgents. Il se place entre l'agent et le modèle et vérifie chaque appel d'outil avant qu'il s'exécute. Il fonctionne sur ta machine et n'envoie ton code nulle part.

Hier, Google lançait Gemini 4 Carbon, son nouveau modèle de pointe. Il est maintenant numéro un de l'Artificial Analysis Intelligence Index v5, un classement populaire des modèles d'IA. La nouvelle a récolté 336 points sur Hacker News. Les utilisateurs de Gemini peuvent aussi créer et modifier des documents, des feuilles de calcul, des présentations et des PDF directement dans la fenêtre de clavardage.

Wall Street, elle, n'a pas fêté. Après ses résultats trimestriels, Alphabet a connu la pire journée de son histoire : environ 500 milliards de dollars de valeur envolés. Selon Ars Technica, Google a admis que la recherche avec IA rapporte moins que la recherche classique. Sa solution : plus de pubs. Son flux de trésorerie négatif a grimpé à 9,06 milliards de dollars.

La course aux dépenses continue partout. Le PDG d'Amazon dit qu'AWS deviendra une entreprise de 1 000 milliards de dollars, mais qu'il faut d'abord dépenser gros. Microsoft a dévoilé pour la première fois les revenus d'Azure en dollars : 33,2 milliards.

Les puces d'IA sont maintenant une affaire de sécurité nationale. Le New York Times rapporte que les autorités américaines ont enquêté sur un complot d'espionnage chinois qui visait Jensen Huang, le PDG de Nvidia. La nouvelle a récolté 326 points sur Hacker News.

Au cœur de l'histoire : un haut dirigeant d'une entreprise de cloud en IA établie à Singapour. Cette entreprise a été accusée d'avoir vendu illégalement des puces Nvidia à la Chine. Selon des sources, ce dirigeant aurait aussi pu être un espion chinois. Le New York Post dit qu'il avait une « relation proche » avec Huang. Attention : ce sont des informations de sources, pas les conclusions d'un tribunal.

Le même jour, le président Trump a déclaré que les robots industriels importés menacent la sécurité nationale. Il a ordonné des négociations commerciales et menacé d'imposer des droits de douane.

L'IA change notre façon de chercher de l'information, et le Web ouvert le sent passer. Steve Huffman, le PDG de Reddit, annonce que le site va exiger une connexion. TechCrunch relie ce virage au trafic des moteurs de recherche qui fond, parce que les gens posent maintenant leurs questions à l'IA.

Sur Reddit, des utilisateurs craignent que leurs publications n'apparaissent plus dans une recherche Web ordinaire. Ça nuirait aussi aux outils d'IA qui fouillent le Web pour trouver des réponses. Des gens qui font rouler des agents d'IA sur leur propre ordinateur disent déjà que les options gratuites de recherche Web arrêtent de fonctionner.

Devant les tribunaux, la Wikimedia Foundation, qui gère Wikipédia, demande un juste milieu dans les grosses causes de droit d'auteur liées à l'IA. Elle veut qu'on permette d'entraîner l'IA sur des œuvres protégées, mais pas que les agents conversationnels recrachent ces œuvres aux utilisateurs. Elle avertit qu'un jugement tout noir ou tout blanc pourrait faire mal au Web ouvert.

La dernière fois, on a vu que l'histoire du modèle Qwen qui « appelle à la maison » était contestée. L'affirmation venait de Cohere, la compagnie canadienne d'IA, et visait Qwen 3.8 Flash Next, le modèle ouvert d'Alibaba. Maintenant, l'argent s'en mêle.

Une publication populaire sur r/LocalLLaMA affirme que Cohere a annoncé une ronde de financement de série E de plusieurs milliards de dollars. Selon cette publication, la ronde comprend jusqu'à 1,6 milliard de dollars du gouvernement canadien. La même publication juge l'expérience de Cohere sur Qwen « largement non scientifique ». Elle dit que Cohere a beaucoup insisté avec ses requêtes et a utilisé le préremplissage (prefilling), c'est-à-dire écrire le début de la réponse à la place du modèle. Le but : pousser le modèle à écrire des bouts de commandes Web.

C'est l'avis d'un seul utilisateur, et son titre dit lui-même que le comportement est « sans doute » contraire à l'éthique. Mais le moment fait jaser : une alerte inquiétante sur un modèle chinois, quelques jours avant une grosse levée de fonds.