Anthropic habilita a un equipo externo a auditar sus modelos de inteligencia artificial con el mismo acceso que un empleado

Seis investigadores de METR, una organización sin fines de lucro dedicada a evaluar sistemas de inteligencia artificial, fueron incorporados como personal con acceso equivalente al de un empleado del área de riesgos dentro de Anthropic. La empresa les entregó computadoras, espacio físico en sus oficinas y herramientas internas, y les permitió interactuar con el personal como cualquier colega, con tres excepciones reservadas: datos de clientes, información amparada por secreto profesional entre abogado y cliente y detalles de la arquitectura de los modelos.

Tres niveles de evaluación externa

• Nivel bajo: revisiones acotadas a cargo de organizaciones como SecureBio, que deben pedir autorización antes de publicar.
• Nivel intermedio: acceso ampliado a información y publicación sin necesidad de permiso previo.
• Nivel alto, ocupado en la actualidad solo por METR: acceso equivalente al de un empleado y facultad de difundir evaluaciones, reportes de incidentes y análisis de prácticas de la compañía sin que la empresa pueda bloquearlos.

En el nivel superior, la empresa conserva la posibilidad de solicitar que se reserve información comprendida en categorías estrechas y predefinidas. METR, sin embargo, queda habilitada a señalar públicamente si considera que esa restricción estuvo o no justificada, lo que la ubica como un contrapeso formal frente a las decisiones de la compañía.

Las cuatro condiciones que, según Anthropic, debe cumplir una auditoría

• Experiencia técnica suficiente para detectar cuándo un modelo aparenta estar alineado en lugar de estarlo efectivamente.
• Independencia económica y operativa respecto de la empresa auditada.
• Acceso que exceda a los modelos e incluya información sobre su entrenamiento y sus mecanismos de seguridad.
• Libertad para publicar hallazgos sin restricciones previas.

Desde la firma reconocieron que no es posible hacer pública toda la información sensible: parte podría resultar útil para actores maliciosos y otra es reservada por motivos comerciales. Por eso limitaron el acceso profundo a un grupo reducido que opera bajo acuerdos exigibles, mientras el resto del personal de METR se mantiene aislado de ese trabajo. El equipo ya había revisado varios informes de riesgo durante el año previo a la incorporación de este nivel ampliado, y la empresa lo presentó como el máximo grado dentro de un esquema de tres categorías construido a lo largo del último año.