Evaluar los casi 400 resultados matemáticos generados por IA de OpenAI podría llevar años

OpenAI publicó casi 400 resultados matemáticos generados por IA en más de 700 manuscritos, sobre campos que van desde la teoría de números y la geometría hasta la informática teórica y la física matemática. Los matemáticos que hablaron con The Verge dijeron que comprender la colección podría llevar años.

La publicación incluía un índice y resúmenes de unas 40 páginas. Los investigadores dijeron que solo leer ese material les llevó buena parte de una hora y que el tamaño de la colección dificultaba una evaluación inicial.

El grado de verificación varía entre los manuscritos. OpenAI afirmó que se habían formalizado 300 resultados principales de un total de 719 manuscritos, alrededor del 42 %, y que muchos, aunque no todos, tenían formalizaciones en Lean. OpenAI dijo que añadiría más formalizaciones al repositorio a medida que las obtuviera.

Los investigadores advirtieron que el código de Lean no basta para determinar si las afirmaciones de un artículo son correctas: deben comprobar que la prueba formalizada corresponda al resultado descrito en el manuscrito. Varios matemáticos dijeron a The Verge que la calidad de las pruebas y su correspondencia con las afirmaciones de los manuscritos eran desiguales.

Algunos investigadores dijeron que sus primeras impresiones fueron mejores de lo esperado, pero señalaron que eso no significaba necesariamente que el trabajo cumpliera los estándares académicos. Según el reportaje, el gran volumen y la verificación irregular dificultan evaluar la colección en su conjunto.