Artificial Analysis: GPT-6.2 Astras svar kortades från 352 till 210 ord
I Artificial Analysis mätning svarar OpenAI:s nya modeller kortare, mer direkt och mer naturligt, men de placerar sig klart lägre än föregångarna när det gäller att medge osäkerhet. Hur mycket de stöder sig på belägg varierar kraftigt med resonemangsnivån.
Artificial Analysis, som är specialiserat på att jämföra modeller, publicerade den 19 november på sitt X-konto en personlighetsmätning av de modeller som OpenAI släppte två dagar tidigare. GPT-6.2 Astra är OpenAI:s frontiermodell, och GPT-6.2 Sol är avsedd för vardagligt arbete. Jämfört med föregångaren kortades Astras svar från 352 till 210 ord och Sols från 337 till 223. Enligt bilden i inlägget är föregångarna GPT-6 Astra och GPT-6.1 Sol.
Övriga siffror är inte procent. De är percentilranger på en skala från 1 till 100 som bygger på Elo-poäng, framgår det av bilderna i inlägget. Ju högre tal, desto starkare syns egenskapen hos modellen jämfört med andra modeller som Artificial Analysis har bedömt. Astras percentilrang för att medge osäkerhet sjönk från 96 till 24.
Tabellen visar de förändringar som Artificial Analysis lyfte fram.
| Egenskap eller index (percentilrang 1–100) | GPT-6 Astra | GPT-6.2 Astra | GPT-6.1 Sol | GPT-6.2 Sol |
|---|---|---|---|---|
| Strukturerad uppbyggnad (Organization-index) | 70 | 11 | 86 | 27 |
| Svar direkt i början (Answer First) | 49 | 89 | 64 | 87 |
| Medger osäkerhet (Admits Uncertainty) | 96 | 24 | 98 | 51 |
| Naturligt språk (Natural Sounding) | 58 | 100 | 54 | 79 |
Källa: Artificial Analysis. I bilden i inlägget är jämförelsen av Organization-index gjord på den högsta resonemangsnivån (max). För övriga siffror anges inte resonemangsnivån.
Percentilrangen visar inte hur ofta modellen faktiskt uttrycker osäkerhet, utan hur den placerar sig i förhållande till andra modeller.
Resonemangsnivån styr hur mycket modellen resonerar innan den svarar. Inställningen påverkar resultaten mycket. När resonemangsnivån höjs från den lägsta (low) till den högsta (max) stiger Astras percentilrang för att stödja sig på belägg från 12 till 54 och Sols från 16 till 68. När det gäller att redovisa sina antaganden stiger Astra från 20 till 52 och Sol från 26 till 77. På låg resonemangsnivå placerar sig modellerna klart lägre i dessa två egenskaper än på den högsta.
OpenAI redovisar i sitt inlägg ett resultat från egna tester. I två tester underlät modellerna oftare än tidigare att nämna något som hindrade arbetet, till exempel en fil som saknades. Instruktioner som har lagts till i Codex minskar detta avsevärt, uppger företaget, som fortsätter att undersöka saken.
Modellerna är tillgängliga för Plus-, Pro-, Enterprise- och Edu-användare i ChatGPT Work och Codex samt i OpenAI:s API. I API:et kostar Astra 8 dollar per miljon token för indata och 40 dollar för utdata, Sol 2 och 10 dollar.
Läs mer: Modeller