Attention Is All You Need: el paper de traducción que inventó la IA moderna

En junio de 2017, ocho investigadores de Google publicaron un paper de quince páginas para mejorar la traducción automática. No decía "inteligencia artificial general" en ninguna parte. Hoy es uno de los papers más citados del siglo, y la T de GPT viene de ahí. Lo leí completo para contarte qué dice, sin matemática.

El problema era traducir

Conviene empezar por lo que el paper no era. No era un plan para crear chatbots ni un manifiesto sobre el futuro. "Attention Is All You Need" atacaba un problema concreto y hasta aburrido: traducir del inglés al alemán un poco mejor y bastante más barato que los sistemas de la época.

Esos sistemas —las redes recurrentes— leían como leemos nosotros: una palabra a la vez, en orden, cargando un resumen de lo anterior. Ese diseño tenía dos problemas. El primero: en frases largas, lo del principio se diluye; cuando la red llega a la palabra treinta, la palabra dos es un recuerdo borroso. El segundo es menos intuitivo pero fue el decisivo: si cada palabra depende de la anterior, no se puede procesar nada en paralelo. Y las GPU —los chips que hacen posible todo esto— son justamente máquinas de hacer millones de cosas en paralelo. El hardware estaba subutilizado por diseño.

La idea: mirar todo a la vez

La propuesta del paper es de una radicalidad tranquila: eliminar la lectura secuencial por completo. En vez de avanzar palabra por palabra, el modelo mira toda la frase al mismo tiempo, y para cada palabra calcula cuánto debería "atender" a cada una de las otras. Ese mecanismo se llama atención, y de ahí el título: atención es todo lo que necesitas.

Un ejemplo. En "el perro no cruzó la calle porque estaba cansado", ¿quién estaba cansado? Tú sabes que fue el perro, no la calle. Para saberlo, conectaste "estaba" con "perro" saltándote todo lo del medio. Eso es exactamente lo que la atención aprende a hacer: qué palabras se explican entre sí, sin importar la distancia que las separa.

Y lo notable es que esto no se programa: emerge del entrenamiento. Nadie le enseñó gramática al modelo. Vio millones de frases y aprendió solo qué conexiones ayudan a traducir bien.

Se puede ver

Mi parte favorita del paper está en el apéndice, y casi nadie la menciona: los autores dibujaron lo que el modelo mira. En esta frase, el verbo "making" necesita completarse con "more difficult", que está a diez palabras de distancia. Las líneas muestran la atención conectándolas por encima de todo lo demás:

Y en esta otra, el pronombre "its" apunta con fuerza a "Law" y a "application": el modelo resolvió a qué se refiere el pronombre, que es una de las cosas más difíciles de la traducción.

Cuando alguien te diga que estos modelos "solo predicen la palabra siguiente", esto es lo que hay adentro de esa predicción: una red de relaciones entre todas las palabras del contexto, aprendida sin que nadie la escribiera.

La máquina completa

La arquitectura que arma todo esto se llama Transformer, y el paper la resume en un diagrama que se volvió icónico. No hace falta entender cada caja; sí la forma general: dos torres. La izquierda (el *encoder*) lee la frase de origen y construye una representación rica de qué significa. La derecha (el *decoder*) escribe la traducción palabra por palabra, consultando esa representación en cada paso.

Dos detalles del diseño valen la pena:

1. La atención tiene ocho cabezas. En vez de un solo mecanismo de atención, corren ocho en paralelo, y cada uno se especializa solo: uno aprende relaciones gramaticales, otro sigue pronombres, otro mira la palabra vecina. Nadie les asignó esos roles.
2. El orden se agrega, no se asume. Como el modelo mira todo a la vez, perdió la noción de qué palabra va primero. La solución fue etiquetar cada posición con una señal matemática, el positional encoding: el modelo ve la frase entera y además sabe en qué lugar está cada pieza.

El resultado que cambió el juego

El Transformer no solo tradujo mejor que todo lo publicado hasta entonces. Lo hizo entrenando en una fracción del tiempo: 3,5 días en 8 GPUs para el modelo grande, cuando los mejores sistemas anteriores necesitaban un orden de magnitud más de cómputo. Mismo hardware, arquitectura que por fin lo aprovecha.

Y ese es el verdadero legado, más que la traducción: el Transformer escala. Si le das más datos y más chips, mejora, de forma predecible, sin techo a la vista. Las recurrentes no escalaban así; por eso quedaron atrás. Todo lo que vino después —GPT, BERT, Claude, Gemini, los generadores de imágenes, AlphaFold en biología— es en el fondo la misma receta de 2017 con más zeros en la cuenta.

Nos entusiasma el futuro de los modelos basados en atención y planeamos aplicarlos a otras tareas: imágenes, audio y video.

Última página del paper, junio de 2017

Lo dijeron ellos, en 2017, y sonaba a expresión de deseo. Fue literal.

Lo que pasó con los ocho

El epílogo es muy contable. El paper está séptimo entre los más citados del siglo XXI según Nature — por encima de descubrimientos de física y medicina. Y los ocho autores dejaron Google: hoy fundan o lideran Cohere, Sakana AI, Essential AI, Character.AI, NEAR — varias son unicornios. Google publicó la llave de la década, gratis, con permiso explícito para reproducir sus figuras (por eso pude incluirlas aquí), y después vio salir por la puerta a quienes la habían fabricado.

Hay una lección ahí sobre publicar investigación abierta, y otra más simple que es la que me trajo a escribir esto: las fuentes primarias se pueden leer. Este paper son quince páginas. La mitad es matemática que puedes saltar, y lo que queda es una idea clara contada por la gente que la tuvo. Igual que leer la OGUC en vez del resumen de la OGUC: el original casi siempre es mejor que su fama.