Une IA réécrit le cerveau d'une autre
La nouvelle numéro un sur Hacker News aujourd'hui récolte 2 630 points et 802 commentaires. Un billet de blogue montre GPT-6 Astra, un modèle d'OpenAI, en train de lire et de modifier directement les poids d'un modèle Qwen. Les poids, ce sont les milliards de nombres qui forment un modèle. C'est un peu son cerveau.
Selon le billet, les retouches d'Astra ont fait passer le score du modèle Qwen sur MATH-500, un test de maths, de 7,9 % à 48,1 %. D'habitude, on améliore un modèle avec un long entraînement. Ici, une IA en a réécrit une autre. Tout le monde n'est pas convaincu : Sean Goedecke soutient que les grands modèles de langage (LLM) ne sont pas surhumains pour lire et écrire des poids.
Le même jour, TechCrunch rapporte qu'Anthropic se dit très proche de la capacité RSI. RSI, c'est l'auto-amélioration récursive (recursive self-improvement) : une IA tellement bonne pour bâtir de l'IA que le progrès s'accélère tout seul. La semaine dernière, on te parlait d'un ordinateur et d'une Nintendo construits dans les poids de Qwen avec l'aide de l'IA. Maintenant, c'est l'IA elle-même qui tient le tournevis.
Une IA qui améliore l'IA plus vite que les humains peuvent vérifier, c'est le scénario que bien des chercheurs en sécurité craignent le plus. Quand un des bâtisseurs sonne lui-même l'alarme, il faut se demander ce qu'il voit qu'on ne voit pas. Et qui, en dehors du labo, peut le vérifier.