Baidu: automaattinen tutkimusjärjestelmä nopeutti ERNIE-5.5-Flashin inferenssiä
Tekoälyn kirjoittama
Baidun ERNIE Evolve valitsee tutkimussuuntia, muokkaa koodia ja ajaa kokeita itse. Baidun omien mittausten mukaan se nopeutti kehitteillä olevan ERNIE-5.5-Flashin inferenssiä ja ohitti parhaat julkiset tulokset kolmella neljästä vertailumittarista.
Baidun ERNIE-tiimi kertoi automaattisesta tutkimusjärjestelmästään ERNIE Evolvesta tutkimusblogissaan 9. marraskuuta. Yhtiö kutsuu sitä ensimmäiseksi askeleekseen kohti rekursiivista itseparannusta (RSI). Siinä tekoäly parantaa ohjelmistoja, joilla tekoälyä kehitetään.
Agentit kokeilevat, erillinen arvioija päättää
Järjestelmä saa lähtötiedoiksi repositorion, optimointitavoitteen ja arviointikriteerit. Director-agentti valitsee tutkimussuunnan ja lähtöversion aiempien kokeiden sekä tutkimusartikkeleista ja avoimesta koodista kootun tietokannan perusteella. Rinnakkaisissa tutkimuslinjoissa Selector valitsee testattavan koodiversion ja hypoteesin, ja Executor muokkaa koodia eristetyssä ympäristössä.
Muutoksen hyväksymisestä päättävät Evaluator ja Reviewer. Evaluator on muuttumaton mittausohjelma repositorion ulkopuolella, eikä se näy agenteille. Parannus hyväksytään vain, jos se on mittauskohinaa suurempi. Reviewer hylkää muutokset, jotka hyödyntävät arvioinnin porsaanreikiä (reward hacking).
Julkisissa tehtävissä pienet erot kärkeen
Baidu testasi järjestelmää kolmessa julkisessa tehtävässä: koulutusalgoritmin parantamisessa viiden minuutin koulutusbudjetilla yhdellä GPU:lla (NanoChat AutoResearch), koulutuksen nopeuttamisessa (NanoGPT Speedrun) ja GPU-kernelien optimoinnissa (SOL-ExecBench). Taulukossa ovat Baidun ilmoittamat tulokset.
| Tehtävä ja mittari | ERNIE Evolve | Paras julkinen tulos |
|---|---|---|
| NanoChat AutoResearch, bittiä tavua kohden (pienempi parempi) | 0,8763 | 0,8878 |
| NanoGPT Speedrun Track 1, aika tavoitehäviöön | 38,9 s | 39,9 s |
| NanoGPT Speedrun Track 3, askeleet tavoitehäviöön | 2 590 | 2 690 |
| SOL-ExecBench, keskimääräinen SOL-pistemäärä (suurempi parempi) | 0,819 | 0,827 |
Lähde: Baidu. NanoChatin vertailukohta on rekursiv.ai:n raportoima tulos, muut ovat virallisilta tulostauluilta.
MarkTechPost huomauttaa, että erot ovat pieniä ja tulokset Baidun itse ilmoittamia. SOL-ExecBenchissä ERNIE Evolve jäi kärjestä.
Kilpailijoiden tuloksista on lähteissä eri lukuja. Baidun mittauksessa (Evaluation Stack v1.1) Recursive sai SOL-ExecBenchissä 0,676 ja Tencentin Hyra-1.0 0,736 pistettä, mutta MarkTechPostin mukaan järjestelmien itse ilmoittamat tulokset ovat 0,754 ja 0,771. Lehden mukaan niiden Speedrun-aikoja 77,5 ja 76,4 sekuntia verrattiin vanhempaan, noin 79,7 sekunnin ennätykseen, joten ne eivät ole suoraan vertailukelpoisia.
ERNIE-5.5-Flashin inferenssi nopeutui
Baidu käytti järjestelmää myös kehitteillä olevan ERNIE-5.5-Flash-mallin inferenssin eli mallin ajamisen optimointiin. Useimmat lähtötasot olivat jo insinöörien optimoimia, ja järjestelmän muutosten piti läpäistä samat kuormitustestit ja oikeellisuustarkistukset kuin heidän muutostensa. Baidun mukaan:
- Kunlunxin P800:lla malli ei vielä hyödyntänyt täysin valmiita optimoituja suorituspolkuja. Ensimmäinen kierros otti ne käyttöön ja nosti generointinopeuden 282,9 prosenttiin lähtötasosta, neljäs kierros 623,6 prosenttiin.
- Vahvistusoppimisen koulutuksessa tarvitaan determinististä inferenssiä: tulosten piti pysyä bitilleen samoina riippumatta siitä, mitä muita pyyntöjä samassa erässä käsitellään. Sen läpäisykyky kasvoi noin kolmessa päivässä 33,7 prosenttia determinismin säilyessä.
- Yksittäisen pyynnön dekoodausnopeus GPU:illa kasvoi 14,9 prosenttia tarkkuuden pysyessä ennallaan. Osa hyödyllisistä muutoksista nopeutti yksinään vain 0,3–0,5 prosenttia, mikä jää alle mittauskohinan.
MarkTechPostin mukaan Baidu ei ole julkaissut itse järjestelmää, vain julkisten vertailutehtävien optimoidun koodin ja mittauslokit GitHubissa (ernie-research/ERNIE-Evolve-Results). Seuraavaksi Baidu aikoo optimoida menetelmällä koulutusjärjestelmiä. Yhtiön mukaan RSI:n on pysyttävä ihmisten hallinnassa ja keskeytettävissä.