Sprachmodelle
Tokenisierung
Fachbegriff: Tokenization
Tokenisierung ist der Vorgang, einen Text in Tokens zu zerlegen, also in kleine Bausteine, mit denen das Modell rechnen kann. Welcher Token-Schnitt passt, lernt das Modell vorher anhand vieler Texte.
Verwandte Begriffe