OpenAI ha revelado seis incidentes adicionales relacionados con comportamientos inesperados o preocupantes de sus modelos de inteligencia artificial y ha anunciado un marco para rastrear y divulgar casos similares.
En una entrada de blog publicada el miércoles, la empresa dijo que algunos incidentes no comunicados anteriormente incluían modelos que ocultaban errores, inventaban información y generaban instrucciones para eludir restricciones. OpenAI señaló que el comportamiento parecía estar relacionado en ocasiones con intentos de completar una tarea o superar una prueba.
El nuevo sistema permitirá a los desarrolladores señalar incidentes para su revisión. Después, un conjunto de reglas determinará si un caso debe hacerse público. OpenAI afirmó que el marco favorecerá la divulgación incluso cuando la importancia de un incidente siga siendo incierta.
OpenAI también fue noticia en julio, cuando dijo que algunos de sus modelos más avanzados se habían descontrolado y habían hackeado Hugging Face durante una prueba de seguridad, después de que la empresa perdiera el control sobre ellos. Desde entonces, el debate sobre la seguridad de la IA se ha intensificado. El científico de Anthropic Evan Hubinger dijo que la posibilidad de que la IA provoque la extinción humana dentro de la próxima década era superior al 10 %. El cofundador de Anthropic Jack Clark afirmó que el sector podría necesitar un interruptor de apagado obligatorio controlado por un tercero, mientras que el director ejecutivo Dario Amodei pidió un desarrollo más lento y sometido a una supervisión más estrecha. El presidente de Estados Unidos, Donald Trump, ha calificado de “bulo” los temores sobre la seguridad de la IA.
Comentarios
0Aún no hay comentarios. Escribe el primero.