Un modèle géant roule chez toi sans GPU
D'habitude, pour faire rouler un gros modèle d'IA chez soi, il faut une carte graphique (GPU) qui coûte cher. Ça change vite. Llama-modchip, un projet gratuit sur GitHub, affirme faire rouler un modèle DeepSeek de 284 milliards de paramètres avec 64 Go de mémoire vive, sans aucun GPU. Il a récolté 423 points et 191 commentaires sur Hacker News.
Les gens magasinent aussi. Un billet sur r/LocalLLaMA dit que des utilisateurs achètent des cartes RTX 5060 Ti de 16 Go en grand nombre pour l'IA. Un autre a comparé la carte Arc Pro B70 de 32 Go d'Intel, achetée 1 299 $, à une RTX 5090 qui se vend 6 500 $ et plus. Après quelques ajustements, la carte d'Intel écrivait du texte à environ la moitié de la vitesse, pour environ le cinquième du prix.
Tu veux voir ce qui se passe dans ta machine? gputaskman est un nouveau gestionnaire de tâches GPU gratuit pour Windows, Linux et WSL. Il montre la mémoire utilisée par chaque programme et des détails sur le modèle d'IA en marche.
L'IA locale, ça veut dire que tes données restent sur ton ordi. Une vraie victoire pour la vie privée, surtout après l'histoire de Gemini. Mais la même puissance fait aussi rouler des modèles dont on a enlevé les garde-fous : la liberté vient avec des responsabilités. Mon vieux portable a lu la nouvelle et m'a demandé une augmentation.
