Los agentes de IA necesitan registros más claros de sus fuentes de información

Los agentes de IA necesitan medios fiables para mostrar de dónde procede su información, según un artículo de Yaniv Tal en TechRadar. El texto sostiene que la supervisión debe examinar tanto las pruebas en que se basan las conclusiones de la IA como el comportamiento del sistema.

Los sistemas de IA pueden recurrir a resultados de búsqueda, registros corporativos, artículos de investigación y material producido por otros sistemas de IA. Cuando las afirmaciones se copian y resumen en la web, puede resultar difícil rastrear su vínculo con las pruebas originales. Una respuesta bien redactada también puede ocultar las diferencias entre estudios revisados por pares, comunicados corporativos y publicaciones anónimas.

El artículo afirma que a menudo se espera que los sistemas de IA den una respuesta útil incluso cuando fuentes fiables discrepan. Eso puede hacer menos visible la incertidumbre. La preocupación aumenta cuando los agentes pueden actuar basándose en sus conclusiones, por ejemplo, al realizar operaciones financieras, aprobar compras, modificar software o enviar mensajes.

Tal cita al científico jefe de OpenAI, Jakub Pachocki, quien escribió que la supervisión de la cadena de pensamiento pierde fiabilidad a medida que el razonamiento de la IA se vuelve más complejo. Pachocki ha pedido umbrales de seguridad que puedan hacer cumplir auditores externos, organismos gubernamentales o entidades internacionales.

El artículo sostiene que la supervisión también requiere registros que muestren el origen de una afirmación, las pruebas que la respaldan, la fiabilidad de la fuente y los desacuerdos entre fuentes creíbles. Propone una trazabilidad que se conserve al copiar y transformar la información, junto con un examen independiente de las normas comunes de verificación y rendición de cuentas. El texto proporcionado termina a mitad de una frase, por lo que no incluye la conclusión completa.