Las pruebas matemáticas de OpenAI no cumplen las pautas de los investigadores

OpenAI publicó 719 manuscritos con supuestas soluciones a problemas matemáticos difíciles. La empresa dijo que consultó a un grupo asesor de matemáticos tras la polémica por un resultado anterior de uno de sus modelos. Sin embargo, las recomendaciones del grupo pedían a los laboratorios líderes de IA que dejaran de probar problemas avanzados con modelos propietarios, mientras que OpenAI afirmó que evaluaba sus modelos propietarios con problemas de investigación abiertos.

El Advisory Group on Mathematics and Artificial Intelligence (AGMAI), adscrito al Institute for Advanced Study de Princeton, publicó sus pautas a finales de septiembre. Señaló que, en última instancia, la comunidad matemática evaluaría si se habían seguido las recomendaciones. El grupo no respondió a la petición de TechCrunch de una evaluación más detallada.

OpenAI compartió información sobre cómo sus modelos llegaron a sus conclusiones, pero solo 10 de los 719 manuscritos incluían la cadena de pensamiento de los modelos. AGMAI también recomendó formalizar las pruebas que las personas no entienden; el 42 % de las pruebas publicadas por OpenAI no se había formalizado. El grupo pidió metadatos legibles por máquina que vincularan las explicaciones en lenguaje natural con las pruebas formales. Las publicaciones no los incluían.

Un artículo aparte de matemáticos de University of Cambridge y King’s College London identificó al menos 2 discrepancias entre una prueba de OpenAI en lenguaje natural y su código Lean para un problema derivado de las ecuaciones de Navier-Stokes. Los autores dijeron que las discrepancias no refutaban necesariamente ninguna de las soluciones, pero sostuvieron que esas pruebas necesitan revisión por pares. Melanie Wood, profesora de matemáticas en Harvard University, dijo a TechCrunch que al publicarse las soluciones no había comprensión humana y que “ahora empieza el trabajo”.