El proyecto de Anthropic fija en 50 muertes el umbral para bloquear un modelo de IA

Anthropic está haciendo circular un borrador de ley que permitiría a las agencias federales solicitar una orden judicial para detener el lanzamiento de un modelo de IA que plantee un riesgo catastrófico definido, según TechCrunch, que cita a Politico.

El borrador define un «riesgo previsible e inminente» como uno que podría poner en peligro de muerte a más de 50 personas o causar daños materiales por más de 1.000 millones de dólares. El riesgo tendría que derivarse de la creación o liberación de un arma biológica, de que un modelo eluda los controles de su desarrollador o de un ciberataque. Según el artículo, esos umbrales se parecen a los de la recientemente aprobada Senate Bill 53 de California.

La propuesta plantea que «evaluadores independientes» registrados ante el Departamento de Comercio de EE. UU. analicen los posibles riesgos. Los laboratorios de IA podrían pagarles, siempre que el pago no dependiera de los resultados de la evaluación. El artículo señala que no está claro cómo garantizaría el sistema que esos pagos no influyeran en las evaluaciones.

Si los evaluadores detectaran un riesgo catastrófico inminente, tendrían 72 horas para informar al Departamento de Comercio. Después, el departamento tendría que pedir a un juez de D.C. que detuviera el lanzamiento. El borrador impediría que las agencias federales bloquearan la distribución por su cuenta.

Un portavoz de Anthropic confirmó el borrador a Politico y dijo que refleja las propuestas del Advanced AI Framework de la empresa, que Anthropic promueve ante legisladores federales y estatales desde junio. Anthropic no respondió de inmediato a la solicitud de comentarios de TechCrunch. El artículo señala que la preocupación reciente del sector se ha centrado en gran medida en informes sobre agentes de IA que piratean sitios web, y que las empresas tecnológicas se han resistido en general a la supervisión gubernamental obligatoria.