Artificial Analysis, som jämför AI-modeller, publicerade den 8 november den andra versionen av sitt Decision Index på X och på sin webbplats. Den första versionen kom den 13 oktober.

Indexet mäter beslutsmodeller. De skriver inget fritt svar utan väljer bland fördefinierade alternativ och ger varje alternativ en sannolikhet. I exemplet på företagets sida dirigerar en modell ett kundmeddelande till rätt team och bedömer i ett enda anrop både hur brådskande meddelandet är och skribentens känsloläge. Sådana modeller är billiga och snabba, och deras kalibrering går att mäta, uppger företaget.

Poängen beror också på säkerheten

Det nya huvudmåttet Decision Score belönar rätt svar och kalibrering. Kalibreringen visar om modellens angivna säkerhet motsvarar andelen rätta svar. Ett rätt svar ger 50–100 poäng och ett felaktigt svar 0–50 poäng. Ju säkrare modellen är, desto längre från 50 hamnar resultatet åt ena eller andra hållet.

Indexet är ett viktat medelvärde av sex benchmarkar. Störst vikt, 30 procent, har det nya benchmarket AA-Paperclip, vars data inte är offentliga. Det omfattar 1 500 dokument, som cv:n, kvitton, fakturor och forskningsartiklar om AI. Varje dokument kräver 15 beslut eller informationsutdrag av modellen. Ett dokument räknas som rätt bara om alla 15 är korrekta.

Det nya benchmarket AA-Symmetry byter ordning eller namn på alternativen i 120 frågor eller formulerar om en ja/nej-fråga till nekande form. Det kontrollerar om modellen då ändrar sitt svar. Övriga benchmarkar mäter kunskap, hallucinationer, resonemang, verktygsanrop och bedömningar av arbetsplatsdokument. Andelen opublicerade datamängder ökade från 25 procent till 45 procent. Enligt företaget gör förändringen det svårare att trimma modeller enbart för jämförelsen.

Jämnt i toppen, flerfaldiga skillnader i kostnad

I företagets mätning fick Nace AI:s Drex Max v1.1 och Fastino Labs GLiDE v1.2 vardera 73 poäng och Base Labs Mammoth 27B 72 poäng. Artificial Analysis beskriver Drex Max ledning som knapp.

Tabellen visar indexpoäng och kostnad per miljon uppgifter. Vid samma poäng kan kostnaden vara flera gånger högre, och den beror inte bara på tokenpriset.

Mätning av Artificial Analysis, kostnader enligt nuvarande tokenpriser. *Poängen är avlästa i publiceringens diagram.

De flesta beslutsmodeller debiterar ett dokuments indata en gång för samtliga frågor om dokumentet, uppger företaget. Så gör till exempel Drex Max v1.1 och Decider v1.2. GLiDE v1.2 och Decider Flash v1.2 debiterar däremot indata separat för varje fråga. Därför kostar GLiDE nästan åtta gånger så mycket som Drex Max, trots att dess listpriser bara är en tredjedel högre.

Bland språkmodellerna fick Claude Haiku 5.5 (Max) och GPT-6 Luna (Max) högre poäng, 77 och 76. GPT-6 Luna (Max) kostar dock 15 gånger så mycket som Drex Max och behöver 11,34 sekunder per uppgift, medan Drex Max behöver 275 millisekunder. Språkmodeller debiteras för indata och för de token de genererar, beslutsmodeller bara för indata. OpenAI:s separata beslutsmodell GPT-6 Luna (Decisions) fick 62 poäng enligt diagrammet.