Modelos de lenguaje
Mecanismo de atención
Término técnico: Attention Mechanism
El mecanismo de atención permite que un modelo preste especial atención a ciertas palabras al leer, por ejemplo el sujeto de una frase. Así entiende las relaciones incluso a grandes distancias. Este invento fue la clave de los modelos de lenguaje modernos.
Términos relacionados