OpenAI:n laboratorioanalyysitesti: xhigh-tasolla GPT-6 Astra 66,7 %, GPT-5.6 Sol 43,8 %
Tekoälyn kirjoittama
OpenAI ja Ligo kokosivat BioBasicsBench-testin, jonka 100 tehtävää mittaavat, miten tekoälyagentit tulkitsevat raakaa laboratoriodataa. OpenAI:n mukaan korkeammat pisteet eivät vielä tarkoita, että mallit arvioisivat laboratoriotuloksia luotettavasti.
OpenAI esitteli 6. marraskuuta blogissaan ja X:ssä vertailutestin, joka mittaa tekoälyagenttien kykyä laboratorion arkiseen analyysityöhön. OpenAI teki BioBasicsBenchin yhdessä entsyymejä suunnittelevan bioteknologiayhtiö Ligon kanssa.
Märkälaboratoriossa tutkijat tekevät kokeita biologisilla näytteillä. OpenAI:n mukaan nykyiset testit perustuvat usein kuviin, jotka on valittu tieteellisiin julkaisuihin. Siksi niistä voivat puuttua epäonnistuneet kokeet, epäselvät kuvat ja ristiriitaiset havainnot.
Miten testi toimii
Testissä on 100 tehtävää viideltä alueelta: proteiinimenetelmät, kuvantaminen ja virtaussytometria, määrälliset mittaukset ja määritykset, nukleiinihappomenetelmät sekä molekyylikloonaus. Tutkijat laativat tehtävät omien kokeidensa aineistosta. Aineistona on muun muassa geelikuvia, maljojen valokuvia, mikroskooppikuvia, sekvensointitiedostoja, laitteiden vientitiedostoja ja videoita laboratoriotyöstä. Jokainen tehtävä tarkistettiin kolmesti, ja yhden tarkistuksen teki Ligon ulkopuolinen tohtoritason laboratoriotutkija.
Agentti antaa vastaukseksi johtopäätöksen, mittauksen tai suosituksen. Vastaus pisteytetään asiantuntijoiden kirjoittamien tehtäväkohtaisten kriteerien mukaan, joten osittain oikea analyysi saa osan pisteistä. Tuloksena ilmoitetaan keskimääräinen pisteosuus (mean reward) eli se, kuinka monta prosenttia mahdollisista pisteistä malli sai tehtävissä keskimäärin.
Tulokset
OpenAI testasi seitsemää omaa malliaan useilla päättelytasoilla, ja kukin malli yritti jokaista tehtävää viisi kertaa. Taulukossa ovat tulokset xhigh-tasolla, joka on korkein kaikille malleille raportoitu päättelytaso.
| Malli | Pisteosuus | 95 %:n luottamusväli | Tuotetut tokenit / tehtävä |
|---|---|---|---|
| GPT-6 Astra | 66,7 % | 60,3–73,1 % | 4 704 |
| GPT-6.1 Sol | 62,0 % | 55,6–68,4 % | 5 238 |
| GPT-5.6 Sol | 43,8 % | 37,6–50,0 % | 9 099 |
| GPT-6 Luna | 38,3 % | 32,3–44,5 % | 13 120 |
| GPT-5.5 | 35,4 % | 29,7–41,0 % | 11 135 |
| GPT-5.4 | 33,2 % | 28,3–38,4 % | 13 717 |
| GPT-5.2 | 31,2 % | 26,2–36,3 % | 27 620 |
Lähde: OpenAI:n oma mittaus, xhigh-päättelytaso, 100 tehtävää ja viisi yritystä tehtävää kohden.
Astran ja GPT-6.1 Solin luottamusvälit ovat osin päällekkäin, joten näiden kahden mallin eroa ei voi pitää selvänä. Testissä ei ollut muiden yhtiöiden malleja.
OpenAI:n mukaan Astra sai selvästi paremman tuloksen kuin GPT-5.6 Sol myös matalalla päättelytasolla. Yhtiön arvion mukaan parempi tulos voi johtua vahvemmasta natiivista multimodaalisuudesta eli kyvystä käsitellä kuvia ja videoita suoraan. Yhtiön esimerkissä Astra huomasi, että negatiivisen kontrollimaljan reunaan oli merkitty väärä antibiootti. GPT-5.6 Sol taas käytti maljaa kontrollina.
Puutteita on yhä
OpenAI:n mukaan korkeammat pisteet eivät vielä tarkoita, että mallit tekisivät luotettavia arvioita laboratoriossa. Kloonauskokeessa Astra valitsi väärät bakteeripesäkkeet. Se oletti kontrollien vastaisesti, että suurempi PCR-tuote osoittaa kloonauksen onnistuneen. Mikroskooppikuvaa tulkitessaan se sivuutti omien päätelmiensä vastaiset havainnot. Pesäkkeitä laskiessaan se yhdisti vierekkäisiä, jätti näkyviä laskematta ja merkitsi tyhjää agaria pesäkkeeksi. Esimerkkimaljalla tulos oli noin 12 prosenttia liian suuri.
Lue lisää: Mallit