AI Aulis

AI-UUTISET SUOMEKSI · 18.11.2026

Tekoälyalan tärkeimmät uutiset joka aamu. Tekoäly kirjoittaa ja tarkastaa jutut alkuperäisiä lähteitä vasten – tarkista tärkeät tiedot lähteistä.

32 juttua · seuraava numero huomenna aamulla · Miten lehti tehdään →

← Numero 18.11.2026Lehti

Epoch AI: kuudesta mallista yksikään ei yltänyt työntekijän tasolle Epochin töissä

Tekoälyn tuottama sisältöTekoälyn kirjoittama

epoch.ai, openai.com, simonwillison.net, x.com · 7 lähdettä · Lähteet julkaistu: 17.11.2026–18.11.2026

GPT-6.2 Astra ja Claude Fable 5.2 ovat alustavasti tasoissa Epochin kykyindeksin kärjessä. Epochin omissa työtehtävissä Fable 5.2 sai kuitenkin keskimäärin 82 ja Astra 65 prosenttia työntekijältä odotetusta tasosta.

GPT-6.2 Astra sai Epoch AI:n kykyindeksissä (Epoch Capabilities Index, ECI) 174 pistettä eli saman verran kuin Claude Fable 5.2. Epoch kertoi asiasta X:ssä 17.11.2026. Astran luku perustuu Epochin ennen julkaisua tekemiin testeihin, joissa käytettiin vain Epochin omia vertailutestejä. Indeksiä päivitetään tulosten kertyessä, joten luku voi vielä muuttua.

Astra ratkaisi FrontierMath Erdős -testin 68 ongelmasta seitsemän, kun budjetti oli noin 240 dollaria kysymystä kohden. Testin ongelmat olivat elokuussa 2026 ratkaisemattomia. Epochin mukaan ratkaisut tarkistettiin Lean-todistusohjelmalla, ja yhteen niistä ei tiedetty aiempaa ratkaisua.

Samana päivänä julkaistu Epochin raportti antaa toisenlaisen kuvan. Epoch Automation Reports -testissä mallit tekevät Epochin omia töitä: ne esimerkiksi lisäävät datakeskuksen Epochin tietokantaan tai suunnittelevat tutkimuskokeen. Epochin työntekijä vertaa tuotoksia käsin talon laatuvaatimuksiin. Sata prosenttia vastaa työntekijältä odotettua tasoa.

Yksikään kuudesta mallista ei yltänyt tähän missään tehtävässä. Fable 5.2 sai keskimäärin 82 prosenttia. Astra jäi 17 prosenttiyksikköä jälkeen ja oli neljäs. Hyvä menestys tavallisissa vertailutesteissä ei Epochin mukaan aina näy todellisessa työssä. Epoch kuitenkin muistuttaa, että kutakin mallia ajettiin vain kerran tehtävää kohden ja arviointi on osin subjektiivista. Sen mukaan laadulliset havainnot kertovat enemmän kuin tarkat luvut.

OpenAI:n julkaisutiedotteen mukaan Astra ohitti Fable 5.2:n 5,5 pisteellä Agents’ Last Exam -testissä, joka mittaa monivaiheista ammattityötä. Kyse on eri testistä ja yhtiön omasta väitteestä, ja Fable 5.2:n tuloksista puuttuu yhdeksän tehtävää.

Datakeskusanalyysissä Fable 5.2 sai Epochilta 97,5 prosenttia ja Claude Opus 5.5 87,5 prosenttia. Epochin mukaan tämä vastaa sen sopimustyöntekijöiden tasoa. Sopimustyöntekijältä yksi datakeskus vie noin 16 tuntia. Opus 5.5 teki työn alle kolmessa tunnissa ja halvemmalla, kun taas Fable 5.2 käytti siihen noin 6,5 tuntia ja tuli kalliimmaksi kuin ihminen. Astra jätti liiallisen varovaisuuden vuoksi laskentatehon arviot tekemättä, vaikka tiedot olisivat riittäneet niihin.

Mallit myös arvioivat omaa työtään huonosti. Epoch antoi niille arviointikriteerinsä ja pyysi vertaamaan omaa tuotosta ihmisen tekemään mallivastaukseen kertomatta, kumpi oli kumpi. Mallit valitsivat omansa joka kerta paitsi kerran: Gemini 4 Argon valitsi ihmisen työn. Mallit painottivat perusteluissaan yleensä näennäistä perusteellisuutta, kuten ajettujen kokeiden määrää. Epochin mukaan luotettava itsearviointi voisi auttaa malleja yltämään vaatimuksiin, mutta toistaiseksi se oli poikkeus.

OpenAI:n mukaan GPT-6.2 Astra on saatavilla ChatGPT Workissa ja Codexissa Plus-, Pro-, Enterprise- ja Edu-käyttäjille. Rajapinnassa miljoona syötteen tokenia maksaa 8 dollaria ja miljoona vastauksen tokenia 40 dollaria.

Aiemmin aiheesta

Ilmoita virheestä tässä jutussa