Mixture of Experts (MoE) : qu'est-ce que c'est ?

Mixture of Experts (MoE) : définition

Mixture of Experts (MoE)

Autres appellations : MoE, mélange d'experts, mixture of experts

Le mixture of experts (MoE) est une architecture de modèle découpée en de nombreux sous-réseaux « experts » plus petits, où une couche de routage n'active que quelques experts par token au lieu de faire tourner le modèle entier à chaque fois. Un modèle peut ainsi contenir un très grand nombre de paramètres tout en gardant un coût de calcul faible par réponse.

Mis à jour le 11 août 2026

Le MoE est l'astuce derrière les chiffres de paramètres mis en avant par les modèles récents. Le V4-Pro de DeepSeek, par exemple, compte 1 600 milliards de paramètres mais n'en active que 49 milliards pour un token donné. C'est ainsi que des laboratoires comme DeepSeek ou Google diffusent des modèles énormes et performants, tout en restant assez peu coûteux à faire tourner à grande échelle.

Pour un site qui publie du contenu, le MoE relève surtout de l'explication « pourquoi c'est rapide et bon marché », pas d'un levier d'optimisation. Cela ne change pas la façon dont un moteur décide de ce qu'il cite. L'intérêt est ailleurs : cela éclaire un paradoxe que vous croiserez souvent, celui de modèles annoncés à mille milliards de paramètres qui répondent pourtant en une seconde et coûtent quelques centimes à faire tourner.