AI Aulis

AI-UUTISET SUOMEKSI · 20.11.2026

Tekoälyalan tärkeimmät uutiset joka aamu. Tekoäly kirjoittaa ja tarkastaa jutut alkuperäisiä lähteitä vasten – tarkista tärkeät tiedot lähteistä.

41 juttua · seuraava numero huomenna aamulla · Miten lehti tehdään →

← Numero 20.11.2026Lehti

Esijulkaisu: Fable 5 ei nostanut pull requestien yhdistämisastetta merkitsevästi

Tekoälyn tuottama sisältöTekoälyn kirjoittama

arXiv, arxivdaily.com · 2 lähdettä · Lähteet julkaistu: 17.11.2026–18.11.2026

Harvardin tutkijan mukaan pääsy Fable 5:een nosti GitHubin pull requestien 7 päivän yhdistämisastetta 1,4 prosenttiyksikköä, eikä ero ollut tilastollisesti merkitsevä. Fable 5 oli SWE-Bench Pro -testissä 10,8 pistettä Opus 4.8:aa edellä.

Harvardin yliopiston tutkija Yining Hua julkaisi tutkimuksensa arXiv-esijulkaisuna 17. marraskuuta. Luonnollisen kokeen tarjosi kesäkuu 2026, kun Yhdysvaltain vientivalvontamääräys katkaisi pääsyn Claude Fable 5 -malliin 19 päiväksi (12.6.–1.7.). Useimmat käyttäjät siirtyivät Opus 4.8:aan.

Hua seurasi GitHubin pull requesteja eli koodimuutosehdotuksia. Hyväksytty muutos yhdistetään projektin koodiin. Mittarina oli seitsemän päivän kuluessa yhdistettyjen pull requestien osuus. Mallin Hua tunnisti pull requestin kuvauksesta, jos kehittäjä oli jättänyt sinne rivin, jonka Claude Code -koodausagentti lisää commiteihin. Tällaisia oli vain noin prosentti yhdistetyistä Claude Code -pull requesteista, ja katkon aikana osuus pieneni. Kun Hua toisti analyysin samojen kehittäjien kaikilla pull requesteilla, tulos oli saman suuntainen.

Tutkittavina oli 297 Fable 5:n käyttäjää. Vertailuryhmän 8 908 kehittäjää käytti Opus 4.8:aa 26.5.–15.7. mutta ei koskaan Fable 5:tä. Kaksoiserotusmenetelmä vertaa käyttäjien muutosta vertailuryhmän muutokseen samoina päivinä.

Kun Fable 5 oli saatavilla, sen käyttäjien pull requesteista yhdistettiin 1,4 prosenttiyksikköä suurempi osuus kuin katkon aikana (95 %:n luottamusväli −1,4…+4,3). Ero ei ollut tilastollisesti merkitsevä. Vaikutuksen puuttumista se ei silti osoita. Huan tulkinnan mukaan Fable 5 nosti yhdistämisastetta enintään 4,3 prosenttiyksikköä. Lyhyen katkon vuoksi luottamusväli on leveä.

Hua tarkasteli myös Opus- ja Sonnet-mallien päivityksiä. Viidessä päivityksessä mallia vaihtaneiden kehittäjien yhdistämisaste muuttui keskimäärin −0,9 prosenttiyksikköä (−1,9…+0,2), mikä ei ollut tilastollisesti merkitsevää. Niissä kuudessa päivityksessä, joista molempien mallien SWE-Bench Pro -pisteet olivat saatavilla, uusi malli oli 5–18 pistettä edellä, mutta yhdistämisaste ei muuttunut merkitsevästi yhdessäkään. Kehittäjät valitsivat mallinsa itse, joten päivitysvertailu kertoo vain yhteydestä.

Mittarilla on rajansa. Otoksessa 95 % pull requesteista yhdisti niiden tekijä itse. Hua toteaa, että yhdistäminen kertoo vain kehittäjän pitäneen työtä valmiina, ei koodin laadusta. Jos mallien erot näkyvät pääasiassa toisen ihmisen katselmoinnissa, arviot jäävät liian pieniksi. Lähes kaikki pull requestit yhdistettiin jo ennen päivityksiä, joten osuudella oli vähän nousuvaraa.

Hua arvelee, että kehittäjät antavat agenteille tehtäviä, joihin vanhempikin malli pystyy. SWE-Bench Pro hyväksyy ratkaisun, kun se läpäisee alkuperäisen korjauksen testit. Testi ei mittaa esimerkiksi epämääräisen pyynnön tulkintaa. Huan mukaan mallin vahvuutta pisteistä arvioivat ostajat nojaavat eroon, joka ei todennäköisesti näy tuottavuudessa.

Aineisto ja koodi ovat GitHubin repositoriossa ningkko/benchmarks-vs-merges.

Aiemmin aiheesta

Ilmoita virheestä tässä jutussa