Una alucinación de IA casi desencadena una operación militar de EE. UU.

Los aviones militares ya estaban en el aire esta primavera cuando funcionarios estadounidenses descubrieron que la inteligencia que respaldaba una operación armada contra un buque chino había sido generada por un chatbot de IA, informó CNN. La operación fue abortada en el último momento, evitando por poco un posible conflicto con China.

El informe de inteligencia circuló durante la guerra con Irán y afirmaba que el buque transportaba componentes para un programa de armas nucleares. Según el informe, un analista de Special Operations Command utilizó un chatbot de IA para combinar información de fuentes abiertas con inteligencia de señales clasificada. El chatbot identificó erróneamente el manifiesto de carga del buque. Después, el analista volvió a utilizar la herramienta para convertir los datos equivocados en un resumen con apariencia oficial, que circuló por los canales de mando.

El episodio pone de relieve la preocupación de que los errores de la IA asciendan por la cadena de mando antes de ser cuestionados, mientras el ejército estadounidense busca utilizar la IA para acelerar la toma de decisiones y mantener su ventaja frente a China. El Pentágono ha afirmado que la IA puede acelerar su kill chain, pero una adopción rápida también puede propagar alucinaciones cuando la supervisión humana es insuficiente.

“Es importante que el personal militar comprenda la incertidumbre inherente a los LLM”, declaró Jake Steckler, investigador de GovAI y antiguo oficial del U.S. Army, en una respuesta escrita a TechCrunch. Señaló que las salvaguardas son especialmente importantes para la selección de objetivos, el análisis de inteligencia y la planificación operativa, y sostuvo que el incidente debería impulsar un uso más seguro, no el abandono de la tecnología.