IA du matin // l'actu de l'IA, fraîchement moulue

Apprendre · Les modèles et leur fonctionnement

Qu'est-ce qu'un mélange d'experts?

Illustration : Mélange d'experts (mixture of experts)
En termes simples, comme si tu avais 5 ansImagine un gros hôpital rempli de spécialistes. Pour chaque question, tu vois juste les deux médecins qui connaissent le mieux le sujet. L'hôpital est immense, mais chaque réponse demande seulement quelques docteurs.

La version un peu plus longue

Un modèle d'IA est fait de milliards de nombres qu'on appelle des paramètres. Ce sont les réglages que le modèle a appris pendant son entraînement. D'habitude, tous les paramètres travaillent sur chaque mot que le modèle lit ou écrit. En fait, le modèle découpe le texte en jetons, des petits bouts de mots, mais l'idée reste la même. Avec un mélange d'experts, on divise le modèle en plein de petites parties qu'on appelle des « experts ». Une petite pièce, le routeur, regarde chaque mot et l'envoie à quelques experts seulement.

C'est pour ça qu'on dit que Flint a 40 milliards de paramètres, mais seulement 2,5 milliards d'actifs à la fois. Le modèle en sait beaucoup, mais chaque étape demande bien moins de calculs. Moins de calculs, ça veut dire des réponses plus rapides sur un portable ordinaire. Un bémol, par contre : le modèle au complet doit quand même entrer dans la mémoire de l'ordi, même si la plus grande partie se repose à chaque instant.

Comment un mélange d'experts répond

  1. Les mots arriventTu tapes une question ou un bout de code.
  2. Le routeur choisitUne petite partie du modèle décide quels experts conviennent le mieux à chaque mot.
  3. Quelques experts travaillentSeuls les experts choisis font les calculs. Les autres se reposent.
  4. Les résultats se combinentOn mélange leurs réponses pour trouver le mot suivant.
  5. Réponse rapideMoins de calculs par mot, donc des réponses plus rapides sur un ordi ordinaire.
Pourquoi c'est important

C'est en bonne partie grâce à ça que des modèles comme Flint peuvent rouler sur un portable, gratuitement, sans envoyer ton code à une entreprise d'infonuagique. Plus de vie privée, donc, et moins de dépendance envers quelques gros labos. Pour un développeur qui n'a pas les moyens de payer les gros modèles en nuage, c'est une bonne nouvelle.

À surveiller

Rapide ne veut pas dire meilleur : avec moins de paramètres actifs, un modèle peut quand même manquer des choses qu'un plus gros aurait vues. Flint dit battre Qwen3.6-35B, mais ça vient des propres tableaux de l'entreprise, et les utilisateurs sont encore en train de le tester. Attends les évaluations indépendantes. Et les chiffres de 40 milliards et de 2,5 milliards viennent d'utilisateurs sur un forum Reddit, pas d'un rapport officiel complet.

Où on en a parlé

Cette notion est apparue dans L'IA trouve les failles, force les serrures et vise ton portefeuille. Plus de leçons : Apprendre.

Sources

Écrit le 2026-10-29. Cette explication était exacte ce jour-là. L'IA change vite : vérifie les sources et la date avant de t'y fier.