OpenAI, Google, Microsoft och Anthropic stöder gemensam möjlighet att välja bort AI-skrapning

OpenAI, Google, Microsoft och Anthropic säger att de ska införa en gemensam standard som låter utgivare ange om deras webbplatser får användas för AI-träning. Förslaget, som kallas en ”policy token”, skulle göra det möjligt för utgivare att ange sina inställningar för flera AI-företag i stället för att kontakta varje företag separat.

Signalen har föreslagits av Kevin Kelley, teknisk ledare för standarder på Anthropic, inom Internet Engineering Task Force (IETF). Den ska finnas i webbplatsens robots.txt-fil. Filen anger redan vilka webbsökrobotar som får komma åt webbplatsen för exempelvis sökindexering, arkivering och AI-träning.

Företagen säger att deras AI-robotar kommer att respektera den gemensamma signalen. Anthropic har redan infört den. Google och Microsoft planerar att stödja den nästa år, medan OpenAI säger att standarden ska införas under de kommande månaderna.

Microsoft planerar mer detaljerade inställningar så att utgivare kan välja bort AI-träning, AI-grundning eller båda. Grundning innebär att en AI-modell hänvisas till verifierad information för att minska hallucinationer. Microsoft säger att webbplatser fortfarande kommer att visas i Bings sökresultat oavsett utgivarnas inställningar.

Förslaget kommer samtidigt som utgivare fortsatt brottas med att AI-robotar hämtar innehåll från deras webbplatser. Andra åtgärder är standarden Really Simple Licensing (RSL), som låter utgivare ta betalt av robotar, och att Cloudflare blockerar AI-robotar som standard.