Mélange d'Experts

MoE Intelligence Artificielle

Définition

Une architecture de réseau de neurones qui divise le modèle en plusieurs sous-réseaux spécialisés (experts) et utilise un mécanisme de routage pour diriger chaque entrée vers les experts les plus pertinents. Le MoE permet d'augmenter la capacité du modèle sans augmenter proportionnellement le calcul.