Artificial Analysis: Liquid AI:s d1.2-ultra tog täten i indexet för beslutsmodeller
Liquid AI:s nya d1.2-ultra toppar utvärderingsföretaget Artificial Analysis jämförelse av beslutsmodeller med 75 poäng. Den billigare d1.2 fick 69 poäng. En miljon uppgifter i indexet kostar 133 respektive 63 dollar med modellerna.
Utvärderingsföretaget Artificial Analysis (AA) publicerade resultaten på sitt X-konto den 16 november, sedan Liquid AI hade lanserat två nya beslutsmodeller. Modellerna d1.2-ultra och d1.2 är uppdateringar av företagets tidigare frontiermodeller d1-ultra och d1.1. AA uppger att företaget gör alla utvärderingar själv.
Beslutsmodellen väljer ett alternativ och anger sin säkerhet
En beslutsmodell skriver inte fri text som en språkmodell. Den väljer svar bland fasta alternativ och ger varje alternativ en sannolikhet. Modellen hanterar alla frågor i ett enda anrop. I AA:s exempel väljer modellen vilket team som ska hantera ett kundmeddelande. Den bedömer också hur brådskande meddelandet är och hur upprörd avsändaren är. Enligt AA är sådana modeller billiga och snabba, och den säkerhet de anger kan jämföras med träffsäkerheten.
Decision Index v2.1 sammanför sex utvärderingar. Tyngst väger AA:s egen privata AA-Paperclip med en andel på 30 procent. I den fattar modellen beslut och extraherar uppgifter ur 1 500 dokument: cv:n, kvitton, fakturor och forskningsartiklar. Övriga utvärderingar mäter omdöme kring arbetsplatsdokument, verktygsanrop, kunskap och hallucinationer samt resonemang. En utvärdering mäter om beslutet förblir detsamma när alternativens ordning eller formulering ändras.
Poängen anger inte andelen rätta svar. I fem utvärderingar ger ett rätt svar 50–100 poäng och ett felaktigt svar 0–50 poäng. Modellens säkerhet höjer poängen för ett rätt svar och sänker poängen för ett felaktigt. Hundra poäng får en modell som alltid är säker och har rätt.
Resultat och priser
d1.2-ultra fick 75 poäng i indexet, fyra fler än d1-ultra. d1.2 fick 69 poäng, tre fler än d1.1. Enligt AA ligger d1.2 på sjätte plats i indexet, men i diagrammet i publiceringen ligger sex modeller före den. I AA-Paperclip fick d1.2-ultra 76 poäng och låg tre poäng före den näst bästa, Drex Max v1.1, uppger AA.
Förstaplatsen gäller de 18 beslutsmodeller som visas som standard på AA:s webbplats. Språkmodeller kan läggas till i jämförelsen med ett separat val, men AA:s publicering jämför inte d1.2-ultra med dem.
En miljon uppgifter i indexet kostar 133 dollar med d1.2-ultra och 63 dollar med d1.2. Priset är medelvärdet av utvärderingarnas pris per uppgift med nuvarande tokenpriser, och utvärderingarna viktas som i indexet. Enligt AA ligger båda modellerna på Paretofronten för pris och prestanda. Att döma av diagrammet i publiceringen får alltså ingen billigare modell bättre poäng.
Pris och tillgänglighet
Modellerna kan användas via Liquid AI:s eget API. En miljon indatatoken kostar 0,042 dollar med d1.2-ultra och 0,02 dollar med d1.2. För beslutsmodeller debiteras bara indatatoken, uppger AA. Kontextfönstret är 64 000 token, och modellerna tar emot text och bilder.
Läs mer: Modeller