OpenAI: agentit onnistuivat yksin 46 %:ssa niille annetuista noin 2–4 tunnin tehtävistä
OpenAI:n raporttia referoivan TokenPostin mukaan yhtiön koodausagentit onnistuivat lokakuussa ilman ihmisen apua 46 %:ssa niille annetuista arviolta 2–4 tunnin tutkimustehtävistä, kun maaliskuussa osuus oli 23 %. Tehtävätyyppien välillä erot ovat suuria.
OpenAI julkaisi 18. marraskuuta raportin siitä, miten koodausagentit muuttavat yhtiön omaa tekoälytutkimusta. Koodausagentit ovat ohjelmia, jotka kirjoittavat ja ajavat koodia kielimallin avulla. Raportin luvut ovat yhtiön sisäisiä mittauksia, eikä raportissa kerrota niiden ulkopuolisesta tarkistuksesta.
TokenPostin mukaan agentit onnistuivat lokakuussa ilman ihmisen apua 46 %:ssa niille annetuista arviolta 2–4 tunnin tutkimustehtävistä, kun maaliskuussa osuus oli 23 %. Arviolta 4–8 tunnin tehtävissä osuus nousi samalla aikavälillä 13 prosentista 35 prosenttiin. OpenAI kirjoittaa raportissaan, että tutkijat ovat samalla voineet alkaa antaa agenteille toisenlaisia tehtäviä. Nousu voi siis heijastaa sekä mallien kykyjen paranemista että tutkijoiden valintoja siitä, milloin ja miten he käyttävät agentteja.
Raportin nimi The jagged frontier viittaa siihen, että agenttien onnistuminen vaihtelee paljon tehtävästä toiseen. Taulukossa on agenttien arvioitu onnistumisosuus eri tehtävissä ilman ihmisen apua.
| Tehtävä tai tehtäväluokka | Onnistumisosuus |
|---|---|
| Ajojen valvonta ongelmien varalta | 79 % |
| Teknisiin kysymyksiin vastaaminen | 72 % |
| Viestintä (luokka) | 69 % |
| Analysointi (luokka) | 58 % |
| Rakentaminen (luokka) | 43 % |
| Arviointi-, vahvistusoppimis- ja agenttiympäristöjen rakentaminen | 29 % |
| Inferenssi- ja palvelujärjestelmien koodi | 25 % |
Lähde: OpenAI, ajanjakso 1.8.–18.10.2026, luokittelu Epoch AI:n mukaan. Luvut ovat arvioita.
Keskimääräisestä onnistumisesta ei siis näe, missä tehtävissä agentti pärjää. OpenAI:n mukaan heikoimmin sujuvat tehtävät voivat rajoittaa kokonaishyötyä niin kauan kuin erot säilyvät.
API-listahinnoin laskettuna tutkijoiden agenttikulujen mediaani on noin 2 400 dollaria päivässä ja 90. persentiili noin 23 000 dollaria. Syyskuun raportissa luvut olivat 1 500 ja 11 000 dollaria. Silti sisäinen käyttö eli Codex, ChatGPT ja API yhteensä vie vain 2 prosenttia tutkimuksen koko laskentakapasiteetista.
Haastateltujen tutkijoiden mukaan agenteilla on huono arvostelukyky tutkimusideoissa sekä koodin, aineiston ja tekstin laadussa. Tutkijoiden on osallistuttava työhön tiiviisti, jotta heikkolaatuiset tulokset ja turhat työkierrokset vältetään. Tutkijat kertoivat, että GPT-6 Astran tärkeimmät ideat tulivat ihmisiltä. GPT-6.2 Astraa varten esikoulutuksen tutkijat kehittivät ideoita yhdessä Codexin kanssa.
OpenAI kuvasi 101 tutkimustyöntekijälle tilanteen, jossa tiimi menettäisi kolmeksi kuukaudeksi pääsyn GPT-5.2:ta parempiin koodausagentteihin. Vastausten mediaanin mukaan tiimi luopuisi 40 prosentista henkilöstöään saadakseen pääsyn takaisin. Yhtiö muistuttaa, että itsearviot voivat olla epätarkkoja ja vastaajat valittiin tapauskohtaisesti.
OpenAI:n mukaan koodirivien ja kokeiden määrän kasvu ei välttämättä tarkoita, että tutkimus edistyy nopeammin. OpenAI katsoo, että tekoälylaboratoriot pitäisi velvoittaa seuraamaan rekursiivisen itseparantamisen merkkejä ja raportoimaan niistä julkisesti. Termi tarkoittaa, että tekoäly nopeuttaa tulevien tekoälyjärjestelmien kehittämistä.