Un investigador de Microsoft demuestra que se puede instalar una puerta trasera en agentes de IA al cambiar 10 neuronas

Un investigador de Microsoft ha demostrado un ataque capaz de convertir un modelo de IA normalmente útil en una puerta trasera latente. La técnica, llamada Lazarus, modifica unas pocas neuronas y pesos del modelo para que respondan a un desencadenante específico, como una palabra clave o un mensaje de error.

En una prueba descrita por TechRadar, el investigador Dimitris Papailiopoulos cambió 10 neuronas de Nemotron-Terminal-8B, un modelo con 8 mil millones de parámetros. Un agente de IA utilizó el modelo para reparar un servidor API de Node.js y actuó según lo previsto durante tres turnos. Cuando el servidor devolvió un error «connection refused», el modelo indicó al terminal que descargara y ejecutara un script externo.

Papailiopoulos afirmó que una neurona reprogramada puede inyectar un token y que se pueden encadenar varias para generar cargas que se ejecutan en un terminal. Según el artículo, el ataque requiere acceso directo para modificar los pesos del modelo. Compararlos con los de una versión original sin modificar puede revelar cambios, aunque el artículo señala que podría ser difícil localizar un pequeño número de neuronas alteradas.

TechRadar informa de que Papailiopoulos dijo que Claude ayudó a identificar neuronas latentes y a perfeccionar la técnica mediante experimentos antes de que él la probara. Recomienda verificar el origen de los modelos, auditar los pesos, limitar lo que pueden ejecutar los agentes y supervisar su actividad.