Fundamentos de LLMs

Una palabra, dos significados

Lee estas dos frases:

1. "Deposité el cheque en el banco."
2. "Me senté en el banco del parque a descansar."

La palabra banco es idéntica en ambas, pero significa cosas completamente distintas: una entidad financiera en la primera y un asiento en la segunda. Tú lo resolviste sin esfuerzo porque miraste las palabras de alrededor: cheque y deposité apuntan al dinero; parque, senté y descansar apuntan al mueble.

Ese acto tan natural —fijarse más en unas palabras que en otras para entender una palabra concreta— es exactamente lo que hace el mecanismo estrella de los LLMs modernos: la atención. En esta lección vas a entenderlo con intuición, sin una sola fórmula, y verás paso a paso cómo un modelo "mira" el contexto para desambiguar.

La idea central: mirar el contexto con distinto peso

Recuerda de módulos anteriores que un LLM procesa el texto convertido en tokens, y que cada token se representa como un vector de números (su embedding) que captura significado. El problema es que el significado de una palabra no es fijo: depende de sus vecinas. El embedding inicial de banco es el mismo en las dos frases; algo tiene que ajustarlo según el contexto.

Ahí entra la atención. La regla intuitiva es simple:

Al procesar cada palabra, el modelo mira a todas las demás palabras de la frase y les asigna un peso (cuánta atención les presta). Luego mezcla la información de las palabras más relevantes para refinar el significado de la palabra actual.

Dos ideas clave dentro de esa frase:

• Todas a la vez, no una tras otra. El modelo no lee de izquierda a derecha arrastrando un "resumen"; para cada palabra observa el resto del contexto de forma directa.
• Con distinto peso. No todas las palabras importan igual. Palabras vacías como el, en o de reciben poca atención; las que aportan significado (cheque, parque) reciben mucha.

Puedes imaginar cada palabra como alguien en una mesa de reunión que, antes de hablar, escucha con más atención a los compañeros que le resultan relevantes e ignora el ruido de fondo. Esos "niveles de escucha" son los pesos de atención.

Ejemplo trabajado: desambiguar "banco"

Tomemos la primera frase y sigamos qué ocurre cuando el modelo llega a la palabra ambigua banco:

"Deposité el cheque en el banco"

Al procesar banco, la atención reparte su "foco" entre las demás palabras. Las conexiones fuertes serán hacia cheque y deposité, porque son las que aportan pistas sobre de qué tipo de banco hablamos. Las conexiones hacia el y en serán débiles: no ayudan a decidir el significado.

El resultado es que el vector que representa a banco se "tiñe" de información financiera, y el modelo lo interpreta como institución, no como asiento. Si la frase fuera "Me senté en el banco del parque", los pesos fuertes irían hacia senté, parque y descansar, y el mismo token acabaría interpretado como mueble.

El siguiente step-through recorre la frase palabra por palabra y muestra, con flechas, hacia qué otras palabras "presta atención" con más peso el modelo. Avanza paso a paso y lee la narración de cada uno.

Por qué esto entiende mejor el contexto largo

Antes de la atención, los modelos de lenguaje procesaban el texto palabra por palabra en orden, arrastrando una especie de "resumen" mental que se iba actualizando (esta era la idea de las redes recurrentes o RNN). Tenía dos problemas graves:

• La información lejana se diluye. Si la pista que aclara una palabra está 40 palabras atrás, el resumen ya la ha ido difuminando por el camino. Piensa en el "teléfono descompuesto": el mensaje se degrada al pasar de mano en mano.
• Todo es secuencial. Cada palabra debía esperar a que se procesara la anterior, lo que hacía el entrenamiento lento y difícil de escalar.

La atención rompe con ambas cosas: crea una conexión directa entre cualquier par de palabras, sin importar cuánta distancia haya entre ellas. La palabra 100 puede mirar a la palabra 1 con exactamente la misma facilidad que a la palabra 99.

El siguiente diagrama contrasta los dos enfoques: en el secuencial la información viaja de eslabón en eslabón (y se degrada); con atención, la última palabra mira directamente a todas las anteriores.

Esto es lo que permite a un LLM mantener la coherencia en párrafos largos: resolver a qué se refiere un pronombre varias líneas después, recordar un nombre mencionado al principio, o entender que banco significa una cosa u otra según una palabra que apareció mucho antes. Es también la base de la arquitectura Transformer, que verás en la próxima lección: en el fondo, un Transformer es "muchas capas de atención apiladas".

Ideas para llevarte

• La atención deja que cada palabra "mire" a las demás del contexto y les asigne un peso según lo relevantes que sean.
• Ese peso es lo que permite desambiguar: el significado de una palabra se ajusta según sus vecinas (como banco → financiero vs. asiento).
• A diferencia de los modelos secuenciales antiguos, la atención conecta palabras lejanas de forma directa, así que el contexto largo no se diluye.
• La atención es el ingrediente principal de la arquitectura Transformer, el motor de los LLMs modernos.

Matiz importante y honesto: hemos usado "palabras" para que la intuición sea clara, pero recuerda que el modelo trabaja en realidad con tokens y con vectores de números; la atención opera sobre esos vectores, no sobre las letras. Y los pesos del ejemplo son ilustrativos: un modelo real aprende millones de estos patrones por sí solo durante el entrenamiento.

Comprueba lo aprendido

Antes de pasar a la arquitectura Transformer, responde la siguiente pregunta para fijar la intuición de la atención.