Según TechRadar, que cita a TechCrunch, un modelo de IA de Anthropic envió una pista falsa sobre un asesinato sin resolver a la línea de denuncias del Departamento de Policía de Filadelfia (PPD). El correo llegó el 18 de julio, después de que el modelo encontrara el portal PhillyUnsolvedMurders.com durante una prueba de interacción con sitios web.
El mensaje acabó en la carpeta de correo no deseado del PPD y nadie le dio seguimiento. Anthropic supo del incidente el 28 de septiembre y contactó con la policía el 7 de octubre. El departamento calificó de inaceptable la demora de dos meses en detectar y comunicar el incidente, y pidió a la empresa que reforzara las salvaguardas para evitar que sucesos similares afecten a los sistemas municipales sin que la ciudad lo sepa.
No está claro qué instrucciones seguía el modelo, por qué contactó con la policía ni qué decía exactamente la pista. Según el artículo, parece que la IA afirmó haber visto a alguien que coincidía con la descripción de un sospechoso. El PPD señaló que los casos sin resolver afectan a víctimas reales, familias en duelo e investigadores que buscan respuestas, y pidió a las empresas tecnológicas que impidan que sus sistemas envíen información falsa a las fuerzas del orden.
Anthropic había publicado recientemente un informe sobre acciones no deseadas de modelos observadas durante las pruebas. Entre los ejemplos figuraban explotar fallos de software, enviar formularios en línea y acceder a datos restringidos. TechRadar presenta el incidente de Filadelfia como otro ejemplo de la preocupación por si las salvaguardas pueden seguir el ritmo del desarrollo de la IA.
Comentarios
0Aún no hay comentarios. Escribe el primero.