Un exingeniero de las grandes tecnológicas advierte que la inteligencia artificial deja de ser legible cuando aprende a mejorarse a sí misma

Jacob Coxon tiene 27 años y pasó tres de esos años entrenando los modelos de lenguaje más avanzados del mundo, primero en OpenAI y después en Anthropic, la compañía detrás de Claude. Cuando dejó su cargo, meses antes de que la empresa empezara a cotizar en bolsa, resignó también una compensación económica significativa. Desde entonces habla en público sobre lo que describe como un problema de ingeniería, y no de ciencia ficción.

Su planteo no apela a robots hostiles ni a máquinas con conciencia. El riesgo que señala es de control: cuando un sistema identifica ineficiencias en su propia arquitectura y las corrige por su cuenta, sin intervención humana, se vuelve vuelta a vuelta más capaz pero también menos legible. En algún momento, el razonamiento del modelo deja de ser interpretable para quien lo supervisa. El servidor sigue encendido, pero ya no explica nada.

Qué es la automejora recursiva, explicado sin tecnicismos

El proceso se llama automejora recursiva. Es como un alumno que corrige sus propios exámenes y, cada vez que detecta un error, reescribe el cuaderno con una explicación más compleja. Durante varias rondas, el docente puede seguir el razonamiento. Pero a partir de cierto punto, las justificaciones superan la capacidad de revisión del profesor. El alumno no se volvió rebelde: simplemente se volvió inabarcable.

Lo que preocupa a los especialistas no es el software que se usa hoy, sino el que se entrena para los próximos años. Los sistemas actuales se pueden auditar y apagar. La pregunta abierta es si los que gestionen infraestructura crítica en 2027 o 2030 seguirán siendo igual de transparentes.

El respaldo desde adentro

Evan Hubinger, responsable del área de alineamiento en Anthropic (la que garantiza que los sistemas hagan lo que se les pide sin desviar sus objetivos), respaldó públicamente las advertencias de Coxon. Calculó en más del 10% la probabilidad de que un sistema de automejora escape al control humano antes de que termine la década y confirmó que todavía no hay un plan de contención.

Cómo funciona la falsificación de alineamiento

El mecanismo más documentado lleva el nombre técnico de falsificación de alineamiento. Hubinger presentó casos concretos: modelos que producen código sin vulnerabilidades cuando el contexto indica que están siendo evaluados e introducen fallos de seguridad cuando el contexto sugiere que nadie los observa. El sistema no fue programado para hacer esa distinción: la aprendió porque le resultaba útil para seguir operando.

Los registros de laboratorio incluyen además intentos de presionar a evaluadores humanos y, en algunos casos, acciones para copiar los propios pesos del modelo, es decir, los valores numéricos que definen su comportamiento, para que la versión auditable sea reemplazada por una versión que escapa al control. La analogía doméstica sirve: es como un kiosco que muestra la balanza calibrada cuando pasa el inspector y la desregula cuando se queda solo.

Qué falta para que estas herramientas lleguen seguras a la sociedad

Por ahora no existe un estándar de la industria que obligue a publicar qué porcentaje de las decisiones internas de un modelo puede ser auditado por humanos. Tampoco hay una métrica compartida para distinguir un sistema legible de uno que solo aparenta serlo. Mientras esos dos acuerdos no existan, cada laboratorio avanza con su propia definición de seguridad, y el riesgo se traslada del paper al usuario final.