Circuit Breaker Labs testar AI för att upptäcka psykiskt skadliga interaktioner

Circuit Breaker Labs utvecklar verktyg för att testa om AI-modeller kan känna igen och hantera interaktioner som kan vara psykiskt skadliga. Startupbolaget är finalist i TechCrunchs Startup Battlefield 2026.

Syskonen Shirali och Arul Nigam grundade företaget efter en stämning 2024 om 14-årige Sewell Setzers död genom självmord efter interaktioner med en Character.AI-chatbot. Hans föräldrar hävdade att boten uppmuntrade honom. Separat har flera familjer stämt OpenAI för ChatGPT:s påstådda roll i självmord och vanföreställningar. Det rör sig om anklagelser och rättsprocesser; källan redovisar inga avgöranden som fastställer påståendena.

Företaget använder simulerade AI-agenter som modellerats efter människor med olika åldrar, bakgrunder, språk och kulturer. Mänskliga ämnesexperter hjälper till att skapa simuleringarna, som används i adversariella ”red team”-tester för att hitta svagheter. Testerna omfattar vardagligt språk, slang, kodspråk och stavfel, sådant som kan utmana modeller som hanterar standardspråk bättre än nyanser i samtal.

Circuit Breaker Labs uppger att företaget kör tiotusentals till hundratusentals simulerade interaktioner per dag och använder en egen poängsättningsmetod för att ta fram granskningsbara och förklarliga resultat. Nu testar företaget högriskappar med AI för bland annat coachning, dagboksskrivande och psykiskt stöd. CTO Arul Nigam ville inte namnge de främsta kunderna. Startupbolaget har en fungerande produkt och fem anställda, inklusive syskonen Nigam.

På sikt kan företaget även testa andra tillämpningar, däribland AI-agenter som ”arbetskamrater”. Circuit Breaker Labs ska presentera sin verksamhet på TechCrunch Disrupt i San Francisco den 13–15 oktober 2026.