OpenAI’nin matematik kanıtları araştırmacıların ölçütlerini karşılamıyor

OpenAI, zor matematik problemlerine getirildiği öne sürülen çözümleri içeren 719 makale yayımladı. Şirket, önceki bir model sonucunun yol açtığı tartışmanın ardından bir matematikçiler danışma grubuna başvurduğunu söyledi. Ancak grubun tavsiyeleri, öncü yapay zekâ laboratuvarlarının ileri düzey problemleri tescilli modellerde test etmeyi bırakmasını istiyordu. OpenAI ise tescilli modellerini açık araştırma problemlerinde değerlendirdiğini belirtti.

Princeton’daki Institute for Advanced Study bünyesinde faaliyet gösteren Advisory Group on Mathematics and Artificial Intelligence (AGMAI), yönergelerini eylül sonunda yayımladı. Grup, tavsiyelere uyulup uyulmadığını nihayetinde matematik topluluğunun değerlendireceğini söyledi. Grup, TechCrunch’ın daha kapsamlı değerlendirme talebine yanıt vermedi.

OpenAI, modellerinin sonuçlara nasıl ulaştığı hakkında bilgi paylaştı; ancak 719 makalenin yalnızca 10’unda modellerin düşünce zinciri yer aldı. AGMAI, insanların anlayamadığı kanıtların biçimselleştirilmesini de önerdi; OpenAI’nin yayımladığı kanıtların %42’si biçimselleştirilmemişti. Grup, doğal dildeki açıklamalarla biçimsel kanıtları ilişkilendiren, makinelerce okunabilir üst veriler istedi. Yayımlanan içeriklerde bu bilgiler bulunmuyordu.

University of Cambridge ve King’s College London matematikçilerinin ayrı bir makalesi, Navier-Stokes denklemlerinden türetilen bir problem için OpenAI’nin doğal dildeki kanıtı ile Lean kodu arasında en az 2 tutarsızlık saptadı. Yazarlar, bu tutarsızlıkların iki çözümden herhangi birini mutlaka çürütmediğini, ancak bu tür kanıtların hakem değerlendirmesinden geçmesi gerektiğini belirtti. Harvard University matematik profesörü Melanie Wood, TechCrunch’a çözümler yayımlandığında insan anlayışının bulunmadığını ve “asıl çalışmanın şimdi başladığını” söyledi.