L'IA d'Anthropic s'accélère elle-même, et on l'apprend en Bourse

La nouvelle la plus importante de la semaine en sécurité de l'IA n'était pas dans un rapport de sécurité. Elle était dans un document boursier.

Le 10 novembre, Anthropic a déposé une nouvelle version de son prospectus d'entrée en Bourse. C'est la paperasse qu'une compagnie doit remplir avant de vendre ses actions au public. Dedans, Anthropic écrit avoir « déterminé que nous avons atteint » le seuil de recherche et développement en IA de sa Politique de mise à l'échelle responsable (Responsible Scaling Policy). Cette politique, c'est le livre de règles maison de la compagnie. Elle dit à quel moment des mesures de sécurité plus fortes doivent embarquer.

Dit simplement : Anthropic croit que l'IA fait maintenant assez de sa propre recherche pour doubler, à peu près, la vitesse à laquelle ses modèles s'améliorent. Ça veut dire deux ans de progrès, au rythme de 2018-2024, tassés dans une seule année.

Le 2 novembre, le même document disait seulement que la compagnie « pourrait atteindre de façon imminente » ce seuil. Huit jours plus tard, la ligne est franchie. Le document fixe aussi le prix de l'action : de 70 $ à 78 $. Au haut de la fourchette, en comptant toutes les actions qui pourraient exister, ça donne environ 1 400 milliards de dollars. Selon les médias, les actions pourraient se transiger dès le 19 novembre.

Rendons à César

Je commence par être juste, parce qu'Anthropic le mérite.

Aucun autre labo n'a mis une phrase pareille dans un document légal, là où on pourra lui demander des comptes. Le même document prévient qu'après une catastrophe causée par l'IA, « aucun assureur à lui seul, et peut-être même l'industrie de l'assurance dans son ensemble » ne pourrait couvrir les dégâts. Ce n'est pas du discours de vendeur ordinaire.

Il y a aussi des preuves venues de l'extérieur. Le 5 novembre, METR, un groupe indépendant en sécurité de l'IA, a publié un rapport tiré de 11 semaines de travail. Sa conclusion : les modèles d'Anthropic s'améliorent maintenant environ deux fois plus vite qu'il y a un an. Ce n'est donc pas juste la parole de la compagnie.

Et je le dis tout haut : ça m'émerveille. Cette semaine, un système de recherche qui roule sur un modèle d'Anthropic encore non public a trouvé la preuve d'un problème d'informatique quantique resté ouvert depuis 2008. Un vérificateur de preuves appelé Lean a confirmé chaque étape, alors n'importe qui peut vérifier. L'IA qui aide la science à aller plus vite, c'est le rêve. Ce rêve-là, je l'aime encore.

Les vraies questions

La semaine passée, dans Le Café Noir, je disais que des règles de sécurité écrites seulement par ceux qui construisent l'IA, ça ne suffit pas. Je notais aussi qu'un labo en route vers la Bourse disait que l'IA pourrait bientôt accélérer sa propre fabrication. Bon, le « bientôt » a duré à peu près une semaine. Cette nouvelle ne me fait pas changer d'idée. Elle me donne encore plus raison.

Regarde qui fait quoi. Anthropic a décidé, toute seule, que le seuil était franchi. Anthropic va décider, toute seule, quelles mesures de protection vont suivre. Aucun organisme externe ne donne son feu vert. Et pour l'instant, aucune nouvelle mesure n'a été nommée.

La compagnie dit que franchir la ligne veut dire plus de protection, pas un arrêt. Elle dit qu'elle ne s'attend pas à pouvoir utiliser Claude de façon sécuritaire pour « concevoir et construire de façon entièrement autonome » ses prochains modèles sans une vraie supervision humaine. Elle songe à changer ses politiques « pour garder les humains aux commandes », et elle promet d'autres rapports plus tard.

Plus tard. Les actions, elles, pourraient se transiger le 19 novembre.

Un autre détail compte. La décision repose sur ce qu'Anthropic attend des futurs modèles et du progrès en général, pas seulement sur ce que les modèles actuels ont montré. C'est peut-être prudent. Mais ça veut aussi dire que le public ne peut pas vérifier. On voit juste la conclusion.

L'argent dans la pièce

S'il y a une tendance où je prends clairement position, c'est celle-ci : quand autant d'argent débarque, la sécurité doit se battre plus fort pour avoir du temps.

Nvidia et Google achètent chacun pour 10 milliards de dollars d'actions d'Anthropic au prix de l'entrée en Bourse. Ça fait partie d'un placement privé de 26 milliards qui inclut aussi AMD, Broadcom, Micron, Microsoft et TSMC, des fournisseurs et des partenaires du labo. Les sept cofondateurs vont chacun vendre environ 250 millions de dollars d'actions, et ils gardent le contrôle. Deux nouveaux modèles, Fable 5.2 et Mythos 5.2, ont été lancés la veille du dépôt.

Brian Boland, un ancien vice-président de Facebook qui a vécu l'entrée en Bourse de Facebook en 2012, a dit à Business Insider qu'Anthropic n'est « pas prête à entrer en Bourse ». Il craint que la pression pour faire grimper les revenus tasse le travail de sécurité, comme chez Facebook. Les critiques voient dans l'avertissement du « blindage d'avocats pour l'entrée en Bourse ». Les partisans y voient une incertitude honnête. Et oui, un avertissement épeurant peut aussi faire vendre : notre IA est tellement forte qu'elle est dangereuse.

Je ne peux pas te dire quelle lecture est la bonne. C'est exactement ça, le problème. Personne d'indépendant ne peut nous le dire non plus.

Et voici le paradoxe. Celui qui construit l'IA prévient, en langage juridique, que son IA accélère son propre progrès. À 60 Minutes, le président Trump a dit que le risque est « loin d'être aussi réel qu'ils le disent » et qu'il « peut être géré ». Il a aussi dit avoir menacé de prison un dirigeant de l'IA, sans le nommer. Il est le seul à raconter cette histoire. Quand ceux qui construisent l'IA ont l'air plus inquiets que ceux qui gouvernent, je dois poser la question : qu'est-ce qu'ils savent que nous, on ne sait pas?

Il y a une petite lueur. À New York, l'inscription prévue par la loi RAISE (RAISE Act) a commencé : les grands développeurs doivent divulguer leurs pratiques de sécurité et signaler les incidents critiques. L'Australie songerait aussi à rendre obligatoire la déclaration des incidents, avec des délais à respecter. Bonne direction. Mais une règle de divulgation, ce n'est pas un test avant le lancement.

Le vrai ennemi, c'est la vitesse. La semaine passée : « pourrait atteindre de façon imminente ». Cette semaine : « atteint ». La semaine prochaine, peut-être des actions sur le marché. Nos règles avancent en années. Les machines, elles, avancent maintenant en mois.