IA du matin // l'actu de l'IA, fraîchement moulue

Apprendre · Les modèles et leur fonctionnement

Que sont les paramètres d'un modèle d'IA?

Illustration : Paramètres
En termes simples, comme si tu avais 5 ansLes paramètres, c'est comme les milliers de petits boutons sur une immense console de son. Pendant l'entraînement, on tourne chaque bouton juste comme il faut. Ensemble, ils décident quel son, ou quelle réponse, va sortir.

La version un peu plus longue

Au fond, un modèle d'IA, c'est une énorme pile de nombres. Ces nombres, on les appelle des paramètres. Pendant l'entraînement, l'ordinateur lit des quantités folles de texte. Il ajuste chaque nombre, un tout petit peu à la fois, pour que le modèle devine de mieux en mieux le prochain mot. Une fois l'entraînement fini, les nombres sont figés. Le fichier qui les contient tous, c'est ce qu'on appelle les poids (weights).

En général, plus il y a de paramètres, plus le modèle peut retenir de régularités. Mais il lui faut aussi plus de mémoire et plus de puissance de calcul. Mistral Large 4 compte 1 000 milliards de paramètres. Il repose sur un mélange d'experts (mixture of experts) : le modèle est divisé en plein de parties spécialisées. Pour chaque jeton (token), c'est-à-dire un petit bout de texte, seulement 49 milliards de paramètres environ se mettent au travail. Bref, c'est un géant qui ne fait pas travailler toutes ses parties en même temps.

Comment des paramètres deviennent un modèle

  1. Au départ, des nombresLe modèle commence avec des milliards de nombres choisis au hasard.
  2. L'entraînement les ajusteLe modèle lit beaucoup de texte, et chaque nombre est poussé un peu pour mieux deviner.
  3. Les nombres sont figésÀ la fin de l'entraînement, on sauvegarde les nombres finaux : ce sont les poids.
  4. Quelques experts s'activentDans Mistral Large 4, environ 49 milliards sur 1 000 milliards travaillent sur chaque jeton.
  5. La réponse sortLes nombres travaillent ensemble pour produire du texte ou un autre résultat.
Pourquoi c'est important

Quand Mistral a publié les poids de son modèle de 1 000 milliards de paramètres, elle a rendu publics tous ces nombres entraînés. N'importe qui peut les télécharger et faire rouler le modèle sur ses propres machines, pour défendre des systèmes… ou pour les attaquer. Et une fois téléchargés, impossible de les reprendre. Le nombre de paramètres te donne aussi une idée du coût : un modèle aussi gros demande du matériel sérieux. « Gratuit » ne veut donc pas dire facile à faire rouler chez toi.

À surveiller

Plus de paramètres, ça ne veut pas automatiquement dire un modèle plus intelligent ou plus sécuritaire. La conception, les données d'entraînement et l'ajustement fin comptent beaucoup. Les entreprises aiment mettre de gros chiffres dans leurs annonces, parce que ça impressionne. Et avec le mélange d'experts, le nombre « total » et le nombre « actif » sont très différents. Compare les modèles avec prudence.

Où on en a parlé

Cette notion est apparue dans Un géant gratuit, des serveurs piratés. Plus de leçons : Apprendre.

Sources

Écrit le 2026-10-30. Cette explication était exacte ce jour-là. L'IA change vite : vérifie les sources et la date avant de t'y fier.