IA Informer.

Cómo los LLM modernos representan la posición de cada token: de las embeddings absolutas a RoPE y NoPE

Una nueva pieza técnica repasa cómo los modelos de lenguaje incorporan la posición de los tokens y por qué ese detalle sigue importando en arquitecturas modernas. El recorrido va de las embeddings posicionales clásicas a RoPE y a variantes recientes que reducen o eliminan la codificación explícita en algunos bloques.

Ilustración editorial sobre Cómo los LLM modernos representan la posición de cada token: de las embeddings absolutas a RoPE y NoPE
Imagen editorial generada para IA Informer.

Por qué la posición sigue siendo un problema central

El artículo parte de una idea sencilla: el orden de las palabras cambia el significado, así que un LLM necesita alguna forma de distinguir qué token va antes y cuál va después. El texto lo ilustra con un ejemplo en el que cambiar el orden de “red” y “gray” altera el sentido de la frase.

También distingue entre el orden implícito que aporta una máscara causal y la información posicional explícita. La máscara limita a cada token a atender a sí mismo y a los anteriores, pero no codifica por sí sola si dos tokens están separados por una posición o por diez. Por eso muchos modelos siguen añadiendo una señal posicional adicional.

De las embeddings absolutas al esquema clásico de GPT-2

Una de las vías más antiguas consiste en sumar un vector de posición al vector del token antes de entrar en el primer bloque transformer. Esa es la lógica de las embeddings posicionales aprendidas de GPT-2: el modelo aprende una tabla de posiciones durante el entrenamiento y luego añade el vector correspondiente a cada token según su índice en la secuencia.

El texto recuerda que este enfoque tiene una limitación práctica importante: la tabla tiene un tamaño fijo. En el caso de GPT-2, la implementación original incluye 1.024 vectores de posición aprendidos, así que extender el contexto exige ampliar también esa tabla y decidir de antemano la longitud máxima durante el entrenamiento. El artículo añade que, si se llevase esa idea a contextos mucho más largos, la tabla puede pasar de ser una parte menor del modelo a ocupar una fracción mucho más relevante de los pesos.

Antes de GPT-2, el Transformer original utilizó otra variante del mismo principio: embeddings sinusoidales fijas construidas con senos y cosenos. No se aprenden, sino que se calculan con una fórmula determinista. El objetivo era el mismo —inyectar orden—, pero con una representación matemática que pudiera generalizar a posiciones no vistas exactamente durante el entrenamiento.

RoPE: la posición entra dentro de la atención

La parte central de la explicación se dedica a RoPE, siglas de Rotary Position Embedding. El artículo la presenta como un método de posición relativa: en vez de sumar un vector al inicio, aplica una rotación a las consultas y las claves dentro del mecanismo de atención antes de calcular su producto escalar. Los valores quedan fuera de esa rotación.

Ese cambio importa porque la posición deja de ser un añadido previo a la atención y pasa a formar parte del cálculo de similitud entre query y key. El texto insiste en que eso permite codificar relaciones relativas entre tokens de una forma más directa, algo que encaja mejor con la forma en que la atención decide qué información recuperar.

La explicación también baja al nivel de implementación. Recorre la construcción de los pares de características dentro de cada cabeza de atención, muestra cómo se aplican las rotaciones y dedica una sección completa a un ejemplo en PyTorch. El objetivo es servir como pieza de referencia para entender qué ocurre realmente en el interior de un LLM cuando se usa RoPE.

Qué están haciendo las arquitecturas recientes

La sección final mira a modelos más recientes y resume una tendencia clara: RoPE sigue siendo dominante, pero ya no siempre se aplica igual en todos los bloques. Algunas arquitecturas lo usan solo en parte de las capas, otras rotan solo una fracción de cada cabeza y otras combinan RoPE con mecanismos sin codificación posicional explícita en determinados bloques.

Una de esas variantes es el RoPE parcial, que rota solo una parte de las dimensiones de cada cabeza y deja el resto intacto. La pieza explica que esto puede ahorrar algo de memoria en las tablas precomputadas de seno y coseno, aunque el KV cache sigue almacenando las representaciones completas. También menciona experimentos en los que rotar una fracción pequeña de las dimensiones obtuvo pérdidas y precisión parecidas a las de RoPE completo en algunas pruebas, pero no en todas.

Otra línea es la de NoPE, es decir, modelos que omiten explícitamente la codificación posicional en alguna o en todas las capas. El texto recuerda que eso no significa ausencia total de orden: el modelo puede inferirlo por otras vías, sobre todo en arquitecturas recurrentes híbridas o en diseños que usan sesgos en la atención en lugar de embeddings posicionales clásicos. Aun así, el propio autor subraya que RoPE sigue siendo la opción más extendida en los modelos abiertos modernos.

Por qué importa esta discusión

La novedad de este artículo no está en anunciar un modelo o una función nueva, sino en ordenar una capa técnica que suele darse por sentada. Para quien diseña, ajusta o evalúa LLMs, la forma de representar posiciones afecta al contexto máximo, al coste de memoria, a la eficiencia de inferencia y a la facilidad con la que un modelo escala a secuencias largas.

También ayuda a entender por qué dos modelos pueden comportarse de forma distinta aunque ambos usen atención. La posición no es un detalle accesorio: condiciona qué ve el modelo, cómo lo compara y cuánto puede crecer la ventana de contexto sin cambiar de arquitectura. La conclusión que deja el texto es que RoPE sigue mandando, pero el ecosistema se está moviendo hacia combinaciones más flexibles, con capas que alternan RoPE, variantes parciales y diseños sin posición explícita en todos los bloques.