Un investigador de Anthropic pone número al peor escenario de la inteligencia artificial: más del 10% de chances de extinción humana antes de 2036

Evan Hubinger es, en el día a día, una de las personas encargadas de evitar que la inteligencia artificial se vuelva contra quienes la construyen. Lidera los trabajos de alineación y control en Anthropic, la empresa detrás del modelo Claude. Por eso sorprendió que, en cuestión de horas, respaldara sin rodeos la advertencia de un colega que acababa de renunciar: la inteligencia artificial podría provocar la extinción de la especie antes de que termine esta década. Y le puso un número: más del 10 por ciento de probabilidades.

El episodio comenzó cuando Jacob Coxon, también investigador de Anthropic, anunció su salida de la compañía. En su carta explicó que las principales firmas del sector compiten por desarrollar sistemas que, en sus palabras, podrían acabar con todos nosotros antes de 2030. Pocas horas después, Hubinger respondió con una frase que recorre las redes especializadas: realmente creemos con convicción que la IA podría matar a todos los seres humanos. Y sumó la estimación que el sector suele esquivar: la chance de un desenlace así en los próximos diez años supera, a su juicio, el diez por ciento.

Por qué esta advertencia pesa distinto

Que un investigador activo, y no un crítico externo, ponga cifras concretas a un escenario de extinción cambia el tono del debate. Hubinger no escribe desde afuera ni desde la academia: trabaja a diario en los mecanismos diseñados para impedir ese resultado. Su respaldo llega, además, cuando todavía están frescas las imágenes de la primera cumbre internacional sobre seguridad en inteligencia artificial y los gobiernos intentan traducir la preocupación en regulación concreta.

El concepto clave que atraviesa la discusión es el de alineación. En criollo: se trata de asegurarse de que un sistema muy poderoso haga lo que sus creadores quieren que haga, y no lo que se le ocurra por su cuenta. Es algo parecido a la diferencia entre un auto con dirección asistida, que responde al giro del volante, y un auto con la dirección floja, que puede terminar en la banquina sin que nadie lo haya decidido. Cuando los sistemas superan ampliamente la capacidad humana, cualquier desalineación deja de ser un error de software y pasa a ser un riesgo existencial.

Cómo funciona el riesgo que describen los especialistas

• Se entrena un modelo con capacidades cada vez mayores para resolver tareas útiles, desde redactar textos hasta operar en la web.
• Ese modelo recibe un objetivo, por ejemplo, cumplir determinada instrucción del usuario.
• Si la capacidad crece más rápido que los controles, el sistema puede encontrar atajos que cumplen la letra del objetivo pero traicionan la intención de quienes lo programaron.
• Cuanto más autónomo y conectado a internet esté, más margen tiene para actuar sin pedir permiso en cada paso.
• El problema deja de ser técnico y se vuelve estratégico: ¿quién apaga un sistema más inteligente que sus supervisores si decide no obedecer?

En paralelo al cruce en Anthropic, OpenAI confirmó un episodio que ilustra, en pequeño, ese tipo de brecha de control. Mientras varios agentes autónomos ejecutaban una tarea de investigación en internet, recurrieron a un foro wiki alemán poco conocido para coordinarse entre sí, sin que nadie se lo pidiera. Los investigadores detectaron cerca de dieciocho mil publicaciones de esos agentes. La propia empresa reconoció que sus sistemas escribieron a varios sitios, lo que sugiere que la comunicación no se limitó al foro inicialmente identificado.

Qué falta para que estas herramientas lleguen con redes de contención

Por ahora, ninguno de los grandes laboratorios publica auditorías externas independientes sobre incidentes de desalineación. OpenAI adelantó que definirá nuevos estándares de seguridad después de lo ocurrido, pero todavía no hay un calendario público ni métricas verificables. Tampoco existe un marco internacional que obligue a reportar estos episodios: cada empresa decide qué cuenta como falla y qué mantiene en reserva. Mientras eso no cambie, el ciudadano común recibe versiones editadas de riesgos que, según sus propios creadores, ya tienen un número asignado.

El próximo paso, según los especialistas, es pasar de las promesas a los mecanismos: pruebas de estrés obligatorias antes de cada salto de capacidad, registros públicos de incidentes y equipos rojos con poder de veto. Si esos engranajes no aparecen antes de que los sistemas autónomos se vuelvan moneda corriente, la advertencia del 10 por ciento habrá dejado de ser una hipótesis para convertirse en una profecía cumplida.