Baidus ERNIE-team presenterade sitt automatiska forskningssystem ERNIE Evolve i sin forskningsblogg den 9 november. Företaget kallar det sitt första steg mot rekursiv självförbättring (RSI). Det innebär att AI förbättrar den programvara som används för att utveckla AI.

Agenter experimenterar, en separat utvärderare avgör

Systemet får ett kodförråd, ett optimeringsmål och utvärderingskriterier som indata. Director-agenten väljer forskningsinriktning och utgångsversion utifrån tidigare experiment och en databas med forskningsartiklar och öppen källkod. I parallella forskningsspår väljer Selector vilken kodversion och hypotes som ska testas, och Executor ändrar koden i en isolerad miljö.

Evaluator och Reviewer avgör om en ändring godkänns. Evaluator är ett oföränderligt mätprogram utanför kodförrådet och syns inte för agenterna. En förbättring godkänns bara om den är större än mätbruset. Reviewer underkänner ändringar som utnyttjar kryphål i utvärderingen (reward hacking).

Små skillnader mot toppen i offentliga uppgifter

Baidu testade systemet i tre offentliga uppgifter: att förbättra en träningsalgoritm med en träningsbudget på fem minuter på en GPU (NanoChat AutoResearch), att snabba upp träning (NanoGPT Speedrun) och att optimera GPU-kernels (SOL-ExecBench). Tabellen visar de resultat som Baidu har uppgett.

Källa: Baidu. Jämförelsevärdet för NanoChat är ett resultat som rekursiv.ai har rapporterat, övriga kommer från officiella topplistor.

MarkTechPost påpekar att skillnaderna är små och att resultaten är uppgivna av Baidu självt. I SOL-ExecBench nådde ERNIE Evolve inte toppen.

Källorna anger olika siffror för konkurrenternas resultat. I Baidus mätning (Evaluation Stack v1.1) fick Recursive 0,676 och Tencents Hyra-1.0 0,736 poäng i SOL-ExecBench, men enligt MarkTechPost är systemens egenrapporterade resultat 0,754 och 0,771. MarkTechPost skriver också att systemens Speedrun-tider på 77,5 och 76,4 sekunder jämfördes med ett äldre rekord på omkring 79,7 sekunder och att de därför inte är direkt jämförbara.

Inferensen i ERNIE-5.5-Flash blev snabbare

Baidu använde också systemet för att optimera inferensen, alltså körningen, av ERNIE-5.5-Flash, en modell under utveckling. De flesta utgångsnivåer var redan optimerade av ingenjörer, och systemets ändringar måste klara samma belastningstester och korrekthetskontroller som ingenjörernas. Baidu uppger:

• På Kunlunxin P800 utnyttjade modellen ännu inte färdiga optimerade exekveringsvägar fullt ut. Den första omgången införde dem och höjde genereringshastigheten till 282,9 procent av utgångsnivån, den fjärde omgången till 623,6 procent.
• Vid träning med förstärkningsinlärning krävs deterministisk inferens: resultaten måste förbli identiska bit för bit oavsett vilka andra förfrågningar som behandlas i samma batch. Den deterministiska inferensens genomströmning ökade med 33,7 procent på ungefär tre dagar, medan determinismen bevarades.
• Avkodningshastigheten för enskilda förfrågningar på GPU:er ökade med 14,9 procent med oförändrad noggrannhet. En del nyttiga ändringar ökade var för sig hastigheten med bara 0,3–0,5 procent, vilket ligger under mätbruset.

Enligt MarkTechPost har Baidu inte publicerat själva systemet, bara mätloggarna och den optimerade koden för de offentliga benchmarkarna på GitHub (ernie-research/ERNIE-Evolve-Results). Härnäst planerar Baidu att optimera träningssystem med metoden. RSI måste förbli under mänsklig kontroll och gå att avbryta, säger företaget.