Anthropic abrió las puertas de sus modelos a un grupo de auditores externos con rango de empleado

La empresa de inteligencia artificial Anthropic incorporó a seis investigadores de la organización sin fines de lucro METR a sus oficinas con computadoras, espacio físico y un acceso equivalente al de cualquier empleado del área que evalúa riesgos en los modelos. Desde esa posición pueden conversar con el personal técnico como un colega más, revisar documentación interna y observar de cerca cómo se entrenan los sistemas de seguridad que la compañía aplica a sus modelos.

El acuerdo tiene, no obstante, tres zonas vedadas: los datos de los clientes de Anthropic, la información protegida por el secreto profesional entre abogado y cliente y los detalles más finos de la arquitectura de los modelos. En el resto del material sensible, METR queda habilitada para publicar lo que encuentre, incluso si los hallazgos incomodan a la empresa.

Cómo funciona el esquema de tres niveles

• Nivel 1: organizaciones como SecureBio realizan revisiones acotadas y deben pedir autorización antes de difundir cualquier resultado.
• Nivel 2: se entrega más información y el evaluador puede publicar sin pedir permiso a la compañía.
• Nivel 3: el auditor accede con rango de empleado, conversa con el personal y publica informes, reportes de incidentes y análisis de prácticas sin que la empresa pueda bloquearlo. Hoy METR es la única organización en esta categoría.

En el nivel más alto, Anthropic solo puede solicitar que se omitan datos comprendidos en categorías estrechas y previamente definidas, por ejemplo, información cuya difusión pueda ser explotada por actores maliciosos o detalles sensibles. Si la compañía pide una redacción, el centro aclara públicamente si considera que ese pedido estuvo o no justificado.

Las cuatro condiciones que, según Anthropic, debe cumplir una auditoría seria

• Experiencia técnica suficiente para detectar cuándo un modelo aparenta estar alineado con los valores humanos sin estarlo en la práctica.
• Independencia económica y operativa respecto de la empresa auditada, de modo que el dictamen no dependa de la continuidad del vínculo comercial.
• Acceso que exceda al modelo en sí e incluya cómo se lo entrenó y cómo funcionan sus mecanismos internos de seguridad.
• Libertad para publicar hallazgos sin restricciones previas, ya que una auditoría sin derecho a difundir equivale, en los hechos, a un informe privado.

Para entender por qué importa cada punto, sirve una comparación doméstica: evaluar un auto por la foto del folleto no es lo mismo que revisar el motor con el capó abierto y conversar con los mecánicos que lo armaron. La auditoría útil exige ese capó abierto y la posibilidad de contarle al público lo que se vio debajo.

Anthropic reconoció que no puede exponer toda su información de seguridad, porque una parte podría ser aprovechada por actores maliciosos y otra es reservada por motivos comerciales. Por eso concentró el acceso profundo en un grupo reducido que opera bajo acuerdos exigibles, mientras el resto del personal de METR queda al margen de esa tarea sensible. Los seis investigadores ya habían revisado varios informes de riesgo de la compañía durante el año previo a recibir este nivel ampliado.

Qué falta para que este tipo de auditoría llegue a todos

El modelo de METR funciona como una prueba piloto y todavía no es replicable a gran escala. Faltan al menos tres piezas: un protocolo estándar de la industria que defina qué constituye una auditoría independiente y qué información mínima debe entregarse; mecanismos de financiamiento estables para que las organizaciones evaluadoras no dependan económicamente de las compañías que controlan; y un marco legal que reconozca los informes de estos auditores como insumos válidos para reguladores y compradores de tecnología. Mientras esas piezas no encajen, la transparencia seguirá dependiendo de la voluntad de cada empresa que desarrolla modelos de inteligencia artificial.