Anthropic habilita a un equipo externo a auditar sus modelos con las mismas herramientas que un empleado propio

Un equipo de seis investigadores de METR, una organización sin fines de lucro dedicada a la evaluación de sistemas de inteligencia artificial, fue incorporado por Anthropic con un nivel de acceso equivalente al de cualquier empleado del área de evaluación de riesgos, según informó la propia empresa. En criollo: la compañía les abrió las puertas de su casa para que la puedan mirar de cerca, sin esconderles nada de lo cotidiano, y publicó los detalles de un esquema que llevaba más de un año en construcción.

Cómo se organiza el esquema de auditoría

El programa se estructura en tres niveles ascendentes de acceso y autonomía. En el estrato más elemental trabajan organizaciones como SecureBio, que llevan adelante revisiones acotadas y necesitan pedir autorización antes de publicar sus conclusiones. En el nivel intermedio los evaluadores reciben más información y pueden difundir sus hallazgos sin pedir permiso. En la cima, donde hoy aparece únicamente METR, se suman el acceso pleno equivalente al de un empleado interno y la posibilidad de publicar evaluaciones, reportes de incidentes y análisis de prácticas empresariales sin que la compañía pueda bloquear la difusión.

El equipo de METR dispone de computadoras provistas por Anthropic, espacio físico en sus oficinas y acceso a las herramientas internas de la firma. Puede mantener conversaciones con el personal como lo haría un colega, con la única excepción de tres categorías reservadas: datos de clientes, información amparada por el secreto profesional entre abogado y cliente y detalles puntuales sobre la arquitectura de los modelos.

La propia compañía reconoció que no puede hacer pública la totalidad de su información vinculada con la seguridad, dado que parte de esos datos podría resultar útil para actores con intenciones maliciosas o reviste carácter comercial sensible. Por ese motivo optó por conceder un acceso profundo a un grupo muy acotado de personas que trabajan bajo acuerdos legalmente exigibles, y mantiene al resto del personal de METR aislado de esa labor de auditoría.

Las cuatro condiciones que, según la empresa, debe reunir una auditoría

• Experiencia técnica suficiente como para detectar cuándo un modelo simula estar alineado con los objetivos humanos sin estarlo en la práctica.
• Independencia económica y operativa respecto de la empresa auditada, para evitar conflictos de interés.
• Acceso que vaya más allá de los modelos en sí e incluya información sobre cómo fueron entrenados y sobre el funcionamiento de sus mecanismos de seguridad.
• Libertad para publicar los hallazgos sin restricciones previas por parte de la compañía.

El equipo de METR ya había revisado varios informes de riesgo de Anthropic durante el año anterior a la obtención de este nivel ampliado de acceso. La iniciativa se inscribe en un debate creciente dentro de la industria sobre cómo verificar de manera creíble que los sistemas de inteligencia artificial cada vez más potentes se comporten del modo declarado por sus desarrolladores. Frente a ese escenario, la decisión de la firma marca un punto de inflexión en la relación entre las empresas que construyen modelos avanzados y los actores externos que buscan fiscalizarlos.