Modelos de lenguaje

Token

Un token es la unidad más pequeña en la que un modelo de lenguaje divide el texto. Normalmente son tres o cuatro letras o una palabra corta. Cuantos más tokens puede procesar un modelo a la vez, más largos son los textos que puede entender.

← Volver al glosario