Sprachmodelle
Token
Ein Token ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt. Meist sind das drei bis vier Buchstaben oder ein kurzes Wort. Je mehr Tokens ein Modell auf einmal verarbeiten kann, desto längere Texte versteht es.
Verwandte Begriffe