Sprachmodelle
Attention-Mechanismus
Fachbegriff: Attention Mechanism
Der Attention-Mechanismus erlaubt einem Modell, beim Lesen auf bestimmte Wörter besonders zu achten, etwa auf das Subjekt eines Satzes. So versteht es Zusammenhänge auch über große Distanzen. Diese Erfindung war der Schlüssel für moderne Sprachmodelle.
Verwandte Begriffe