Anthropic veut prouver quel modèle t'a répondu
Quand tu utilises une IA dans une application, comment savoir quel modèle t'a vraiment répondu? Tu ne le sais pas. Une compagnie pourrait glisser un modèle moins cher, ou quelqu'un pourrait modifier la réponse en chemin.
Le 2 novembre, Anthropic a publié une recherche sur un système appelé FlashProve, avec des collaborateurs de l'EPFL, du MIT et d'ailleurs. Il utilise des zkSNARKs, une sorte de preuve cryptographique qui montre qu'une chose est vraie sans dévoiler le secret derrière. Ici, ça prouve qu'une réponse vient d'un ensemble précis de poids de modèle, sans révéler ces poids. Le système a été testé sur un modèle Llama.
TechCrunch dit qu'Anthropic « travaille » là-dessus : c'est de la recherche, pas un produit que tu peux essayer aujourd'hui. Bon, c'est un peu comme vérifier que ton sirop d'érable vient vraiment du Québec, mais avec des maths.
Des vérifications indépendantes, c'est exactement ce qui manque à l'IA. Avec des preuves comme celle-là, les évaluateurs et les utilisateurs n'auraient plus à croire un labo sur parole. Bonne nouvelle... et pourtant, une preuve te dit quel modèle a répondu, pas si ce modèle est sécuritaire.
