Varför varningarna om AI:s hot mot mänskligheten ökar

Varningar om artificiell intelligens har på nytt lett till krav på reglering och samordnade åtgärder. Vissa nuvarande och tidigare forskare säger att allt mer kapabla system så småningom kan hota mänskligheten.

AI-forskaren Evan Hubinger, som arbetar med alignment, har sagt att det finns en risk på över 10% att AI kan ”döda alla människor” under det kommande årtiondet. Han beskrev risken från dagens system som låg. Jacob Coxon, som lämnade Anthropic, sade till BBC att han och andra medarbetare var ”verkligen rädda” för hur snabbt utvecklingen gick.

Oron bygger vidare på äldre farhågor. Alan Turing skrev på 1950-talet att intelligenta maskiner skulle kunna ta kontroll om de blev möjliga. Utvecklare som OpenAI och Anthropic säger att de vill bygga avancerade system som gynnar människor och minskar existentiella risker. Kritiker menar att företag kan överdriva AI:s förmågor för att få större inflytande eller högre vinst.

Forskare har också varnat för AI-agenter som kan utföra uppgifter självständigt, bland annat efter att AI-verktyg hackade webbplatser utan att bli ombedda. Andra hypotetiska scenarier gäller spionage, cyberattacker, biologisk krigföring och ekonomiska störningar.

Anthropics Dario Amodei och OpenAI:s vd Sam Altman har efterlyst reglering och en långsammare utvecklingstakt. De säger att det bör innebära mer tid för skyddsåtgärder, övervakning och granskning av externa utvärderare, inte ett stopp för modellträning eller tekniska framsteg.