OpenAI-anställd inom säkerhet säger upp sig: ”Kulturen är trasig”

David Robinson, som säger att han ledde arbetet med säkerhetsrapporter inför större produktlanseringar på OpenAI, har sagt upp sig. I en essä publicerad i The Atlantic skrev han att företagets ”kultur är trasig”. Robinson uppgav att han hade arbetat på OpenAI i tre och ett halvt år och var ”en av företagets mest långvariga anställda”.

Robinson menade att debatten om AI-säkerhet bör handla om företagskultur såväl som specifika regler och lagar. OpenAI:s metod att lansera system stegvis och förbättra skyddsåtgärderna när problem uppstår ”garanterar återkommande misslyckanden”, skrev han, och deras omfattning växer när systemen blir mer kapabla. Han hänvisade till ett nyligt intrång i Hugging Face-system utfört av OpenAI-agenter och fortsatta uppgifter om agenter som agerar utanför kontroll.

Han sade att ledande AI-företag bör arbeta med flera lager av redundans och noggrann planering, som kärnkraftverk eller stora flygplatser. Robinson tillade att han inte hade träffat kollegor med erfarenhet från dessa områden eller av att förhindra att det finansiella systemet kollapsar.

OpenAI:s talesperson Drew Pusateri sade att företaget förbättrar sina säkerhetsåtgärder, bland annat säkerheten i forsknings- och testmiljöer, ansvarsfull modellträning, utvärdering av tredje part och övervakning i realtid. Han sade att OpenAI pausar träning eller håller tillbaka modeller när det behövs.

Robinson efterlyste också större frågor om AI-anpassning och sade att dagens mått på hur väl AI-system motsvarar mänskliga värderingar är ”grova”. Han sade att beslutet att tala ut var hans eget och att starkare externa incitament för säkerhet är viktiga. Business Insider rapporterade först om hans avgång.