Anthropic desarrolla FlashProve para verificar la identidad de los modelos de IA

Anthropic trabaja en un sistema de código abierto llamado FlashProve para verificar qué modelo de IA produjo una respuesta, según una entrada de blog publicada el martes. El sistema busca ofrecer lo que los investigadores llaman «inferencia demostrable»: una prueba criptográfica de que un resultado procede de un modelo concreto.

Los investigadores afirman que FlashProve podría ayudar a los usuarios a comprobar que una respuesta procede del modelo que creen estar utilizando. Al igual que una firma criptográfica de correo electrónico, está diseñado para resistir los intentos de hacer pasar un modelo por otro, incluso cuando los realiza el laboratorio que creó y opera el modelo. Según los investigadores, podría ayudar a impedir que las empresas sustituyan en secreto un modelo por otro más barato para reducir costes o por uno más caro para mejorar los resultados comunicados. También podría servir para verificar afirmaciones de terceros de que una tarea concreta fue realizada por un modelo avanzado.

Para que el sistema funcione, los laboratorios de IA tendrían que publicar una huella digital de cada modelo que lancen. Esas huellas podrían cotejarse con los resultados y verificarse criptográficamente sin revelar los pesos del modelo, que Anthropic y otros desarrolladores de modelos cerrados mantienen en privado. FlashProve está diseñado para ser lo bastante ligero como para verificar los resultados en un dispositivo local.

Junto con el anuncio, los investigadores publicaron en GitHub una especificación técnica y código funcional para algunas partes del sistema, bajo una licencia de código abierto. La investigación continúa y Anthropic no tiene previsto implementar FlashProve en su laboratorio ni en ningún otro. Los investigadores describen la publicación como un informe sobre avances intermedios e invitan a otras personas a examinar y mejorar el trabajo.