Mécanisme d'Attention
A
Mécanisme d'Attention
Définition
Une technique dans les réseaux de neurones qui permet au modèle de se concentrer sur les parties pertinentes de l'entrée lors de la production de la sortie. L'auto-attention permet à chaque élément d'une séquence de prêter attention à tous les autres éléments, capturant les dépendances à longue portée plus efficacement que les architectures récurrentes.