AI Aulis

AI-NYHETER PÅ SVENSKA · 20 november 2026

De viktigaste AI-nyheterna varje morgon. AI skriver och granskar artiklarna mot originalkällorna – kontrollera viktiga uppgifter i källorna.

41 artiklar · nästa nummer i morgon bitti · Så görs tidningen →

← Numret 20 november 2026Tidningen

Förhandspublicering: Fable 5 höjde inte sammanslagningsgraden för pull requests signifikant

AI-genererat innehållSkriven av AI

arXiv, arxivdaily.com · 2 källor · Källornas publiceringsdatum: 17–18 november 2026

Enligt en forskare vid Harvard höjde tillgång till Fable 5 andelen pull requests på GitHub som slogs samman inom sju dagar med 1,4 procentenheter. Skillnaden var inte statistiskt signifikant. Fable 5 låg 10,8 poäng före Opus 4.8 i SWE-Bench Pro.

Forskaren Yining Hua vid Harvard University publicerade sin studie som en förhandspublicering på arXiv den 17 november. Ett naturligt experiment uppstod i juni 2026 när ett amerikanskt exportkontrolldirektiv spärrade tillgången till modellen Claude Fable 5 i 19 dagar, från den 12 juni till den 1 juli. De flesta användare gick över till Opus 4.8.

Hua följde pull requests på GitHub, det vill säga förslag på kodändringar. En godkänd ändring slås samman med projektets kod. Måttet var andelen pull requests som slogs samman inom sju dagar. Hua identifierade modellen i beskrivningen av en pull request om utvecklaren hade lämnat kvar den rad som kodningsagenten Claude Code lägger till i commitar. Sådana rader fanns bara i ungefär en procent av de sammanslagna pull requests som gjorts med Claude Code, och under avbrottet minskade andelen. När Hua upprepade analysen med samma utvecklares alla pull requests pekade resultatet åt samma håll.

Studien omfattade 297 användare av Fable 5. Jämförelsegruppen bestod av 8 908 utvecklare som använde Opus 4.8 mellan den 26 maj och den 15 juli men aldrig Fable 5. Metoden skillnad i skillnader jämför förändringen hos användarna med förändringen i jämförelsegruppen samma dagar.

När Fable 5 var tillgänglig slogs en 1,4 procentenheter större andel av användarnas pull requests samman än under avbrottet (95 procents konfidensintervall −1,4 till +4,3). Skillnaden var inte statistiskt signifikant. Det visar ändå inte att effekt saknas. Enligt Huas tolkning höjde Fable 5 sammanslagningsgraden med högst 4,3 procentenheter. Konfidensintervallet är brett eftersom avbrottet var kort.

Hua granskade också uppdateringar av Opus- och Sonnet-modellerna. Vid fem uppdateringar förändrades sammanslagningsgraden i genomsnitt med −0,9 procentenheter (−1,9 till +0,2) för utvecklare som bytte modell, vilket inte var statistiskt signifikant. I de sex uppdateringar där båda modellernas poäng i SWE-Bench Pro fanns tillgängliga låg den nya modellen 5–18 poäng före, men sammanslagningsgraden förändrades inte signifikant i någon av dem. Utvecklarna valde själva sin modell, så jämförelsen av uppdateringarna visar bara ett samband.

Måttet har sina begränsningar. I urvalet slogs 95 procent av pull requests samman av den som skapat dem. Att en ändring slås samman visar bara att utvecklaren ansåg arbetet färdigt, inte något om kodens kvalitet, konstaterar Hua. Om skillnaderna mellan modellerna främst syns när en annan person granskar koden blir uppskattningarna för små. Nästan alla pull requests slogs samman redan före uppdateringarna, så andelen hade litet utrymme att öka.

Hua antar att utvecklare ger agenterna uppgifter som även en äldre modell klarar. SWE-Bench Pro godkänner en lösning när den klarar testerna för den ursprungliga korrigeringen. Benchmarket mäter till exempel inte hur en vag begäran tolkas. Köpare som bedömer en modells styrka utifrån poängen förlitar sig på en skillnad som sannolikt inte syns i produktiviteten, säger Hua.

Data och kod finns i kodförrådet ningkko/benchmarks-vs-merges på GitHub.

Anmäl ett fel i artikeln