Compresión es predicción: la equivalencia que explica por qué los LLM funcionan

"Los LLM solo predicen el siguiente token". Es, probablemente, la frase más repetida por quienes quieren rebajar el hype de la inteligencia artificial. Y en sentido técnico es cierta: un modelo de lenguaje se entrena para asignar probabilidades a la siguiente palabra de una secuencia. Pero la palabra "solo" esconde una trampa. Porque la predicción de secuencias y la compresión de datos no son primas lejanas: son la misma operación matemática descrita desde dos ángulos.

Esta es la tesis que ha vuelto a poner sobre la mesa el artículo "Compression is prediction" del blog de ngrok, publicado el 11 de agosto de 2026 y rebotado con fuerza en Hacker News, DEV Community y LinkedIn. La conversación está viva, pero la idea tiene casi un siglo de historia.

Shannon y el juego de adivinar caracteres

Todo empieza con Claude Shannon. En los años cuarenta, el padre de la teoría de la información intentó cuantificar cuánta información contiene el lenguaje. Para ello diseñó un experimento humilde pero profundo: pedir a voluntarios que predijeran el siguiente carácter de un texto en inglés, carácter a carácter.

Cada acierto y cada error tenía un valor en bits. Si el voluntario acertaba siempre, el texto era predecible y, por tanto, contenía poca información nueva. Si fallaba a menudo, cada carácter era una sorpresa y hacían falta más bits para describirlo. Sin saberlo, Shannon estaba midiendo la entropía del lenguaje y, de paso, demostrando que predicción y compresión son la misma moneda: quien mejor predice, menos bits necesita para codificar.

El puente matemático: entropía y sorpresa

La entropía suena a tecnicismo, pero es una idea muy intuitiva: la información es sorpresa. Un mensaje que ya sabes que va a venir no te aporta nada y puedes comprimirlo a casi nada. Un mensaje completamente inesperado te sorprende y exige muchos bits para representarse.

Un buen predictor convierte el texto en un flujo de baja sorpresa: apenas hay imprevistos, apenas hace falta "informar" de lo que viene. Esa es exactamente la intuición que Shannon capturó en los años cuarenta y que hoy sigue siendo el cursor del que cuelgan todos los modelos de lenguaje.

Codificación aritmética: de la predicción a la compresión

La conexión no se queda en la teoría. La codificación aritmética es el mecanismo que convierte una distribución de probabilidades —una predicción— en una cadena de bits casi óptima. Dado un modelo que asigna probabilidades a los siguientes símbolos, la codificación aritmética usa esas probabilidades para codificar el texto con una longitud que se acerca al límite teórico de Shannon.

En la práctica, esto significa que si tienes un buen predictor, tienes un buen compresor. Y al revés: si consigues comprimir un texto muy bien, estás demostrando que tienes un modelo que lo predice muy bien. La equivalencia no es una analogía bonita: es un teorema de la teoría de la información.

Entropía cruzada: lo que realmente hace un LLM

Aquí está el giro clave. Cuando entrenamos un modelo de lenguaje, usamos una función de pérdida llamada entropía cruzada. Suena a matemática impenetrable, pero su significado es transparente: mide cuántos bits, en promedio, necesita el modelo para codificar el siguiente token del texto real, dadas sus predicciones.

Entrenar un LLM minimizando la entropía cruzada es, literalmente, entrenarlo para comprimir el lenguaje de la forma más eficiente posible. Como ha señalado Lan Chu, la descripción habitual de "predicción del siguiente token" y la descripción de "compresión óptima del lenguaje" son matemáticamente la misma cosa. No es que un LLM "también" comprima: es que comprimir es exactamente lo que hace.

Comprimir es entender

De esta equivalencia se desprende la implicación más incómoda: comprimir bien exige comprender. Trata de predecir el siguiente carácter de un texto en chino si no hablas chino: cada carácter será una sorpresa absoluta y necesitarás muchísimos bits para codificarlo. Un hablante nativo, en cambio, lo comprime con facilidad porque "entiende" la lengua: conoce su vocabulario, su gramática y sus patrones habituales.

Lo mismo vale para un LLM. Un modelo que comprime eficientemente un dominio —código, literatura, conversación médica— ha capturado sus patrones, su vocabulario y su estructura interna. Los críticos que desdeñan la predicción de tokens como una tarea trivial pasan por alto que predecir con precisión es una forma de comprensión estadística. Nadie comprime bien lo que no entiende; del mismo modo, ningún LLM comprime brillantemente un dominio que "no entiende".

Hay que ser cuidadosos con el salto filosófico. Que la compresión sea una medida útil de comprensión no convierte a los LLM en seres conscientes ni implica una teoría completa de la inteligencia. Algunos investigadores, como Gabriel Goh en el artículo de Ryan Greene, defienden la compresión como una forma de comprensión, pero es una posición, no un consenso universal.

Releer el juicio "solo predice tokens"

Volvamos a la frase con la que abrimos. Si predicción y compresión son equivalentes, decir que un LLM "solo predice tokens" es como decir que un piano "solo produce sonidos". La afirmación es cierta, pero vacía: el valor está en la precisión y la escala con la que lo hace.

Comprimir un texto hasta cerca de su límite entrópico exige modelar reglas gramaticales, hechos del mundo, relaciones entre conceptos y estilos discursivos. Un modelo que logra esa compresión sobre miles de millones de tokens ha construido, en sus pesos, una representación estadística del mundo extraordinariamente rica. Por eso puede razonar, traducir, resumir y generar código útil sin que nadie le haya enseñado esas tareas explícitamente: son el subproducto natural de haber aprendido a comprimir lenguaje. Es la lectura que propone, entre otros, DEV Community.

Implicaciones prácticas: cuantización, minificación y codecs aprendidos

Esta conexión no es solo conceptual: tiene aplicaciones directas. Entender la equivalencia ayuda a explicar por qué funcionan técnicas como la cuantización de modelos —la reducción de precisión numérica de los pesos— o la minificación de código: son compresiones del propio modelo, y comprimir mejor sigue siendo, en algún sentido, entender mejor.

También hay experimentos personales que exploran la idea en la práctica. Aum Parmar, por ejemplo, describe cómo construir un codec de compresión aprendido desde cero le confirmó que "todo compresor es secretamente un predictor". Son proyectos experimentales, no el estado del arte industrial, pero ilustran el principio en carne y hueso.

Conviene una aclaración para no mezclar conceptos: la compresión de modelos (cuantización, poda) y la compresión de datos (zip, gzip, codecs) son aplicaciones distintas del mismo principio. El artículo de ngrok se mueve en el terreno conceptual, no en el de la ingeniería de optimización.

Conclusión: una idea con 80 años y todo un futuro

Shannon plantó esta semilla en los años cuarenta con su juego de adivinar caracteres. Ochenta años después, cada avance en inteligencia artificial hace la idea más relevante: los LLM son, en su corazón, compresores extraordinariamente buenos del lenguaje humano, y por eso parecen "entender".

La próxima vez que alguien diga "los LLM solo predicen tokens", pregúntale cuántos bits necesita para codificar un texto en chino que no entiende. La respuesta —muchos más que un hablante nativo— es una lección de teoría de la información, de compresión y de por qué predecir bien es, en el fondo, comprender bien.

Te recomendamos leer el artículo original de ngrok y unirte a la conversación que sigue abierta en Hacker News. ¿Qué significa "entender" cuando hablamos de máquinas? Esa pregunta, formulada por Shannon hace ochenta años, vuelve a estar sobre la mesa.