OpenAI, Google, Microsoft och Anthropic stöder en gemensam signal i robots.txt som låter webbplatsägare ange om AI-crawlers får använda deras innehåll för att träna modeller. TechRadar rapporterar att OpenAI kommer att följa signalen och citerar företagets uppmaning till andra AI-leverantörer att göra detsamma.
Filen robots.txt finns i webbplatsens rotkatalog och vägleder botar om hur de ska komma åt webbplatsen. Enligt artikeln kan signalen stoppa många botar som följer reglerna, men den hindrar inte crawlers som ignorerar dem.
TechRadar beskriver också andra sätt att begränsa bottrafik: kräva att besökare skapar konton, begränsa förfrågningar från enskilda IP-adresser eller använda CAPTCHA. Artikeln lyfter fram nackdelar: kontokrav kan göra information svårare att nå, vissa crawlers använder växlande IP-adresser och CAPTCHA kan frustrera användare eller lösas av vissa AI-modeller.
Rapporten beskriver åtgärderna som ofullkomliga alternativ. Begränsningar som ska minska skrapning kan också påverka mänskliga besökares upplevelse.
Kommentarer
0Inga kommentarer ännu. Skriv den första.