Jeton
T
Jeton
Définition
L'unité de base du texte que les modèles de langage traitent. Un token peut être un mot, une partie de mot (sous-mot) ou un seul caractère, selon le tokeniseur. Le nombre de tokens détermine les limites d'entrée du modèle, la longueur de sortie et la tarification des API.