OpenAI:s laboratorieanalystest: GPT-6 Astra fick 66,7 procent och GPT-5.6 Sol 43,8 procent på nivån xhigh
Skriven av AI
OpenAI och Ligo har tagit fram benchmarket BioBasicsBench. Dess 100 uppgifter mäter hur AI-agenter tolkar rå laboratoriedata. Enligt OpenAI betyder högre poäng ännu inte att modellerna bedömer laboratorieresultat tillförlitligt.
OpenAI presenterade den 6 november på sin blogg och på X ett benchmark som mäter AI-agenters förmåga att utföra vardagligt analysarbete i laboratoriet. OpenAI tog fram BioBasicsBench tillsammans med Ligo, ett bioteknikföretag som designar enzymer.
I ett våtlaboratorium utför forskare experiment på biologiska prover. Enligt OpenAI bygger dagens tester ofta på bilder som valts ut för vetenskapliga publikationer. Därför kan de sakna misslyckade experiment, otydliga bilder och motstridiga observationer.
Så fungerar testet
Testet har 100 uppgifter inom fem områden: proteinmetoder, avbildning och flödescytometri, kvantitativa mätningar och analyser, nukleinsyrametoder samt molekylär kloning. Forskarna skrev uppgifterna utifrån material från sina egna experiment. Materialet består bland annat av gelbilder, fotografier av odlingsplattor, mikroskopbilder, sekvenseringsfiler, exportfiler från instrument och videor från laboratoriearbete. Varje uppgift granskades tre gånger, och en av granskningarna gjordes av en laboratorieforskare på doktorsnivå utanför Ligo.
Agenten svarar med en slutsats, en mätning eller en rekommendation. Svaret poängsätts enligt uppgiftsspecifika kriterier som experter har skrivit, så en delvis korrekt analys får delpoäng. Resultatet anges som genomsnittlig poängandel (mean reward), alltså hur många procent av de möjliga poängen modellen i genomsnitt fick på uppgifterna.
Resultat
OpenAI testade sju av sina egna modeller på flera resonemangsnivåer, och varje modell försökte lösa varje uppgift fem gånger. Tabellen visar resultaten på resonemangsnivån xhigh, den högsta nivå som rapporterats för alla modeller.
| Modell | Poängandel | 95-procentigt konfidensintervall | Genererade token per uppgift |
|---|---|---|---|
| GPT-6 Astra | 66,7 % | 60,3–73,1 % | 4 704 |
| GPT-6.1 Sol | 62,0 % | 55,6–68,4 % | 5 238 |
| GPT-5.6 Sol | 43,8 % | 37,6–50,0 % | 9 099 |
| GPT-6 Luna | 38,3 % | 32,3–44,5 % | 13 120 |
| GPT-5.5 | 35,4 % | 29,7–41,0 % | 11 135 |
| GPT-5.4 | 33,2 % | 28,3–38,4 % | 13 717 |
| GPT-5.2 | 31,2 % | 26,2–36,3 % | 27 620 |
Källa: OpenAI:s egen mätning, resonemangsnivån xhigh, 100 uppgifter och fem försök per uppgift.
Konfidensintervallen för Astra och GPT-6.1 Sol överlappar delvis, så skillnaden mellan de två modellerna kan inte betraktas som tydlig. Modeller från andra företag ingick inte i testet.
Enligt OpenAI fick Astra ett klart bättre resultat än GPT-5.6 Sol även på låg resonemangsnivå. Företaget bedömer att det bättre resultatet kan bero på starkare nativ multimodalitet, alltså förmågan att bearbeta bilder och video direkt. I företagets exempel upptäckte Astra att fel antibiotikum hade antecknats på kanten av den negativa kontrollplattan. GPT-5.6 Sol använde däremot plattan som kontroll.
Brister finns kvar
Högre poäng betyder ännu inte att modellerna gör tillförlitliga bedömningar i laboratoriet, uppger OpenAI. I ett kloningsexperiment valde Astra fel bakteriekolonier. Modellen antog, i strid med kontrollerna, att en större PCR-produkt visade att kloningen hade lyckats. När den tolkade en mikroskopbild bortsåg den från observationer som talade emot dess egna slutsatser. När den räknade kolonier slog den ihop intilliggande kolonier, hoppade över synliga kolonier och markerade tom agar som en koloni. På exempelplattan blev resultatet ungefär 12 procent för högt.
Läs mer: Hur en agent fungerar · Modeller