Anthropic kommer att stänga av användare som utsätter företagets AI för långvariga, onödiga angrepp

Anthropic ändrar sin användningspolicy så att företagets AI-verktyg kan avsluta samtal vid ”långvariga och onödiga” angrepp. Företaget uppger att det redan har gjort det i ”sällsynta” fall.

Den nya regeln lägger till kränkande beteende mot AI på en lista över förbjudet agerande. Listan omfattar också mobbning av andra, uppmuntran till självskada och skapande av intima bilder utan samtycke. Anthropic säger att regeln bara gäller i ”extrema fall” av upprepade angrepp. Vanlig frustration, invändningar, mörka kreativa teman samt modelltestning och forskning omfattas inte. Företaget har inte tydligt definierat vad det räknar som kränkande eller grymt beteende mot modellerna.

Ändringen har väckt debatt om huruvida människor bör vara artiga mot AI. Vissa användare på sociala medier berömde den för att främja gott uppförande eller ”modellvälfärd”; andra invände mot att behandla AI som om den vore mänsklig. Dr Barry Scannell, teknikpartner på den irländska advokatbyrån William Fry, sade att antropomorfisering av AI kan få människor att missförstå vad den är. Microsofts AI-chef Mustafa Suleyman svarade på uppdateringen med en smältande ansikts-emoji.

The Verge rapporterade först om ändringarna, som följde på Anthropics årliga policyöversyn. Företaget uppdaterade också regler om andra risker, bland annat genom att förbjuda ”vilseledande kampanjer” och förtydliga att Claude inte får användas för att vilseleda väljare eller störa val. Anthropic sade att den tidigare policyn redan förbjöd användning av företagets verktyg för att utveckla vapen.