Tes vieilles cartes graphiques reprennent du muscle
Un nouvel outil en source ouverte, gpu-unlock, promet d'accélérer certains calculs d'IA sur les cartes Nvidia RTX 3000. Il a récolté 248 points sur Hacker News. Sur r/LocalLLaMA, des gens affirment qu'un truc semblable marche sur les RTX 30 et 40, avec un préremplissage (prefill) jusqu'à deux fois plus rapide. C'est l'étape où le modèle lit ta requête. Un message affirme même que le prix de ces cartes grimpe en flèche.
En même temps, des gens font rouler de gros modèles sur du matériel ordinaire. Un projet fait tourner Qwen3.8-Flash-Next, un modèle de 125 milliards de paramètres, à environ 20 jetons (des petits morceaux de mots) par seconde avec 16 Go de mémoire vidéo. Le truc : aller chercher des morceaux du modèle sur un SSD rapide. D'autres le font rouler sur des cartes de 8 Go.
Ce sont des résultats préliminaires de la communauté, pas des tests officiels. Mais s'ils tiennent la route, un vieux PC de jeu usagé peut faire rouler une IA sérieuse à la maison, et tes données restent chez toi.
L'IA locale, c'est plus de vie privée et moins de dépendance envers quelques grandes entreprises. Avec les labos dans le cloud qui bloquent de plus en plus de requêtes, faire rouler son propre modèle devient un vrai choix pour le monde ordinaire et les petites entreprises.
