Distillation de Modèle
M
Distillation de Modèle
Définition
Une technique de compression d'un modèle large et complexe (professeur) en un modèle plus petit et plus efficace (élève) qui approxime les performances du professeur. L'élève apprend des probabilités de sortie du professeur plutôt que des données d'entraînement originales.