Anthropic säger att företaget kan närma sig sin definition av rekursiv självförbättring

Anthropic säger att företaget snart kan uppfylla sin interna definition av framsteg som påskyndas av artificiell intelligens, men betonar att ingen av de nuvarande modellerna har passerat den tröskeln.

I en reviderad S-1-inlämning skrev företaget att ökad användning av AI i forskning och utveckling kan göra att modellernas förmågor utvecklas snabbare än företagets förmåga att ta fram och införa säkerhets-, anpassnings- och skyddsåtgärder. Företaget sade också att det tidigare inte har upptäckt betydande acceleration i utvecklingen förrän efter att den inträffat.

Anthropics interna uppskattningar, som bygger på förväntningar på framtida modeller snarare än nuvarande, tyder på att företaget ”snart” kan uppfylla Responsible Scaling Policys definition av ”dramatiskt påskyndade framsteg som kan tillskrivas AI”. Företaget sade att det inte har bedömt att någon nuvarande modell överskrider tröskeln och att det fortsätter att granska underlaget.

Inlämningen beskriver AI-stödd utveckling av AI som en betydande säkerhetsrisk om den påskyndar framstegen kraftigt. Anthropic sade att företaget inte räknar med att säkert kunna använda Claude för att självständigt utforma och bygga på varandra följande generationer av avancerade modeller utan meningsfull mänsklig tillsyn eller förståelse. Företaget överväger uppdateringar av sin policy för att behålla mänsklig kontroll över utvecklingen av avancerade modeller.

Inlämningen fungerar också som marknadsföring och uppgifterna bör därför sättas i sitt sammanhang. Anthropics uttalanden beskriver en möjlighet företaget förutser, inte en förmåga som det säger att dagens modeller redan har nått.