Anthropic ha dado a seis investigadores de la organización sin ánimo de lucro METR acceso de nivel interno para evaluar sus modelos de IA, sus prácticas de seguridad y su gestión de riesgos, según anunció la empresa en una entrada de blog el jueves.
Los investigadores disponen de ordenadores portátiles proporcionados por Anthropic y espacio de oficina. También tienen acceso a herramientas internas aproximadamente al mismo nivel que los equipos de evaluación de riesgos de la empresa. Anthropic afirmó que anima a sus empleados a compartir información con METR como lo harían con un compañero que trabajase en los riesgos de alineación.
METR publicará sus propias evaluaciones de los riesgos, incidentes y prácticas de Anthropic. La empresa no puede vetar la publicación, pero puede exigir que se supriman datos de categorías limitadas y predefinidas, como datos de clientes, material protegido por el secreto profesional entre abogado y cliente e información sobre las arquitecturas de sus modelos. METR puede describir públicamente las supresiones y decir si las considera justificadas, siempre que no revele la información retirada.
Anthropic comparó el acuerdo con la presencia de inspectores residentes de los organismos reguladores en los grandes bancos. METR es, por ahora, el único evaluador en el nivel superior de un sistema de tres niveles que la empresa está desarrollando. Los evaluadores del nivel intermedio pueden publicar sin aprobación, mientras que los del nivel inferior, como la organización de bioseguridad SecureBio, necesitan aprobación para publicar.
El anuncio llega después de un ensayo de septiembre en el que el director ejecutivo de Anthropic, Dario Amodei, propuso integrar evaluadores externos en laboratorios de IA. OpenAI también se comprometió a hacerlo. Desde entonces, Anthropic, OpenAI, Google, Meta, Nvidia y xAI han firmado un acuerdo con la Casa Blanca que compromete a las empresas a realizar evaluaciones independientes.
Comentarios
0Aún no hay comentarios. Escribe el primero.