OpenAI publicerade 719 manuskript med påstådda lösningar på svåra matematiska problem. Företaget sade att det hade rådfrågat en rådgivande grupp matematiker efter kontroversen kring ett tidigare modellresultat. Men gruppens rekommendationer uppmanade ledande AI-labb att sluta testa avancerade problem med proprietära modeller, medan OpenAI sade att företaget utvärderade sina proprietära modeller på öppna forskningsproblem.
Advisory Group on Mathematics and Artificial Intelligence (AGMAI), som hör till Institute for Advanced Study i Princeton, publicerade sina riktlinjer i slutet av september. Gruppen sade att matematikerkåren i slutänden skulle bedöma om rekommendationerna följts. Gruppen svarade inte på TechCrunchs begäran om en mer ingående bedömning.
OpenAI delade information om hur modellerna nådde sina slutsatser, men bara 10 av de 719 manuskripten innehöll modellernas tankekedja. AGMAI rekommenderade också att bevis som människor inte förstår skulle formaliseras; 42 % av OpenAI:s publicerade bevis hade inte formaliserats. Gruppen efterlyste maskinläsbara metadata som kopplar samman förklaringar på naturligt språk med formella bevis. Sådana uppgifter saknades i publiceringarna.
En separat artikel av matematiker vid University of Cambridge och King’s College London identifierade minst 2 avvikelser mellan ett OpenAI-bevis på naturligt språk och dess Lean-kod för ett problem som bygger på Navier-Stokes-ekvationerna. Författarna sade att avvikelserna inte nödvändigtvis motbevisar någon av lösningarna, men menade att sådana bevis behöver sakkunniggranskning. Harvard Universitys matematikprofessor Melanie Wood sade till TechCrunch att mänsklig förståelse saknades när lösningarna publicerades och att ”arbetet börjar nu”.
Kommentarer
0Inga kommentarer ännu. Skriv den första.