Att fråga ChatGPT vad det är osäkert på kan avslöja svaga antaganden

TechRadars Eric Hal Schwartz beskriver en enkel följdfråga som kan blottlägga svagheter i ChatGPTs svar: ”Vad är du osäker på i ditt svar?”

I ett test med reseplanering skapade ChatGPT ett familjeprogram som såg praktiskt ut, men som byggde på antaganden om familjens energinivå, barnets sovtider, hur mycket vila familjen föredrog och var den skulle bo. När Schwartz frågade om osäkerheterna pekade ChatGPT ut antagandena och ifrågasatte resans tempo. Schwartz lade sedan till tydligare begränsningar, bland annat en större planerad aktivitet per dag och flexibla eftermiddagar, och ChatGPT byggde om planen.

I ett liknande test handlade det om en äldre bärbar dator som hade börjat få problem. ChatGPT föreslog först att ett byte kanske vore det klokaste på lång sikt. När Schwartz frågade vad chatboten var osäker på erkände den att den inte visste reparationskostnaden, vilken komponent som var trasig, datorns modell, specifikationer eller symtom. Den påpekade att ett relativt billigt batteri- eller lagringsbyte i stället kunde förlänga datorns användbara liv.

Frågan kan också leda till följdfrågor om vilken osäkerhet som skulle kunna ändra en rekommendation eller vilken information ChatGPT saknar. Schwartz påpekar att ChatGPTs egen beskrivning av sin säkerhet också kan vara felaktig och inte ersätter kontroll mot tillförlitliga källor när fakta är viktiga. Ändå kan frågan göra dolda antaganden lättare att granska i vardagliga samtal.