OpenAI gör Decisions API brett tillgängligt

OpenAI har gjort sin Decisions API-modell brett tillgänglig och går därmed in på en marknad som formats av TypeSafes Jev, en beslutsmodell som snabbt väljer bland alternativ och ger en konfidenspoäng. Enligt källan värderades TypeSafe, som grundades av en tidigare forskare vid ett ledande forskningslabb, till 7,6 miljarder dollar.

Nikunj Handa, produktansvarig för OpenAIs API:er, sade att företaget anpassade ChatGPT Luna för att snabba upp inferensen och sänka kostnaderna i stället för att bygga en särskilt kalibrerad beslutsmodell. Han sade att ändringen kortade svarstiderna från en till tre sekunder till 100, 120 eller 180 millisekunder. OpenAI presenterade API:t på sin utvecklardag den 29 september, och det blev tillgängligt för alla kunder på torsdagen. Den offentliga versionen har också fått röst- och bildfunktioner.

Kunder som Box, Datadog, Ramp och Speak har testat API:t. Andrew Hsu, teknikchef på språkinlärningsföretaget Speak, sade att API:t minskade tiden mellan åtgärder från 1,4 sekunder till 0,13 sekunder. OpenAI använde också produkten för att göra röstassistenten Dots mer responsiv.

Offentliga rankningar ger blandade resultat. Den senaste Jev-modellen ligger på sjunde plats i AIM System One Index och tredje plats i Artificial Analysis Decision Index. OpenAI’s Decision Model ligger på åttonde respektive fjortonde plats. Enligt källan tenderar rankningarna att gynna Liquid’s D1 Ultra och Base Lab’s Elephant-1. TypeSafes modeller är de mest efterfrågade på OpenRouter, medan den senaste Jev-modellen toppar JevMan PacMan-testet.

Handa sade att Luna kan vara stark på bildklassificering och nämnde att svarstider på kanske 60 millisekunder skulle kunna möjliggöra nya användningsområden, som att bearbeta varje bildruta i en video. Källan påpekar att vad som gör en beslutsmodell effektiv kan variera mellan olika arbetsuppgifter.