Modelos de lenguaje

Tokenización

Término técnico: Tokenization

La tokenización es el proceso de dividir un texto en tokens, es decir, en pequeños bloques con los que el modelo puede trabajar. El modelo aprende de antemano qué divisiones de tokens son las más adecuadas, a partir de muchos textos.

← Volver al glosario