AI-agenter behöver tillförlitliga sätt att visa var deras information kommer ifrån, enligt en artikel av Yaniv Tal i TechRadar. Artikeln hävdar att granskning bör omfatta beläggen bakom AI:ns slutsatser, liksom systemets beteende.
AI-system kan använda sökresultat, företagsregister, forskningsartiklar och material som skapats av andra AI-system. När påståenden kopieras och sammanfattas på webben kan kopplingen till de ursprungliga beläggen bli svår att spåra. Ett välformulerat svar kan också dölja skillnader mellan sakkunniggranskad forskning, företagsmeddelanden och anonyma inlägg.
Artikeln säger att AI-system ofta förväntas ge ett användbart svar även när trovärdiga källor inte är överens. Det kan göra osäkerheten mindre synlig. Problemet växer när agenter kan agera utifrån sina slutsatser, till exempel genom att lägga affärer, godkänna köp, ändra programvara eller skicka meddelanden.
Tal hänvisar till OpenAI:s chefsforskare Jakub Pachocki, som har skrivit att övervakning av tankekedjor blir mindre tillförlitlig när AI:s resonemang blir mer komplext. Pachocki har efterlyst säkerhetströsklar som kan upprätthållas av oberoende granskare, myndigheter eller internationella organ.
Artikeln hävdar att granskning också kräver dokumentation av ett påståendes ursprung, beläggen bakom det, källans tillförlitlighet och trovärdiga meningsskiljaktigheter. Den föreslår källspårning som består vid kopiering och bearbetning, samt oberoende granskning av gemensamma standarder för verifiering och ansvar. Den tillhandahållna artikeltexten slutar mitt i en mening och innehåller därför inte hela slutsatsen.
Kommentarer
0Inga kommentarer ännu. Skriv den första.