Baidu esitteli uuden kielimallinsa julkaisusivullaan 11. marraskuuta. ERNIE 5.5 Flash Preview on yhtiön mukaan ensimmäinen jälkikoulutettu versio ERNIE 5.5 Flash Base -pohjamallista, jonka painot Baidu avasi aiemmin marraskuussa. Pohjamalli vain jatkaa sille annettua tekstiä. Teknologiasivusto Pandailyn mukaan Preview-malliin on lisätty päättely ja työkalukutsut.

Baidun mukaan malli on vahva koodauksessa, 3D-mallinnuksessa, tietotyössä ja sisällöntuotannossa. Kiinalainen teknologiamedia Leiphone kertoo, että malli sai kilpailukykyisiä tuloksia muun muassa Terminal-Bench- ja AutomationBench-vertailutesteissä. Pandaily huomauttaa, että nämä ovat Baidun omia väitteitä.

Baidu itse varoittaa Preview-mallin olevan keskeneräisen jälkikoulutuksen välivaihe, jonka kyvyt voivat vielä olla osin puutteellisia. Yhtiö aikoo parantaa mallia käyttäjäpalautteen perusteella ennen virallista julkaisua.

Mallin rakenne ja Baidun esimerkit

Baidun vLLM-ERNIE-repositorion mukaan kyseessä on MoE-malli: sen kerroksissa on 512 asiantuntijaverkkoa, joista kullekin tokenille valitaan kymmenen. Mallissa on 280 miljardia parametria, mutta kunkin tokenin käsittelyssä niistä on käytössä 14 miljardia.

Mallin 43 kerroksesta 37 tallentaa välimuistiin 128 viimeisintä tokenia ja jokaisesta 128 tokenin jaksosta yhden tiivistetyn merkinnän. Pohjamalli esikoulutettiin enintään 128 000 tokenin kontekstilla, mutta inferenssissä se tukee noin miljoonan tokenin (1 048 576) kontekstia. Leiphonen mukaan malli tuottaa yli 200 tokenia sekunnissa. Mittausoloja lehti ei kerro.

Baidu kertoo esimerkkinä, että malli kirjoitti yhdessä 11 tunnin koodaustehtävässä C++-kielellä kolmannen persoonan pelin Unreal Engine 5.8:lle. Malli työskenteli harnessissa eli agenttia ohjaavassa ohjelmassa, joka antaa mallille työkalut ja ajaa sen työvaiheet. Malli käsittelee vain tekstiä eikä näe ruutua. Siksi se muutti pelitestauksessa havaitut viat, kuten maan yläpuolella leijuvan hahmon, koodissa mitattaviksi testeiksi.

Saatavuus, hinta ja painot

Mallia voi käyttää Baidun Qianfan-pilvipalvelun rajapinnan kautta. Pandailyn mukaan Qianfanin 10. marraskuuta päivitetyssä mallilistassa ernie-5.5-flash-preview-rajapinnan oletuskutsuraja on 60 pyyntöä ja miljoona tokenia minuutissa. Leiphonen mukaan miljoona syötteen tokenia maksaa ruuhka-aikana 2 juania ja hiljaisena aikana 1 juanin. Tulosteen vastaavat hinnat ovat 8 ja 4 juania. Lisäksi hinnoista saa määräaikaisesti 50 prosentin alennuksen.

Baidu lupaa avata painot pian Apache 2.0 -lisenssillä, Leiphonen mukaan 25. marraskuuta. Pandaily tarkisti tilanteen 11. marraskuuta: Preview-mallin Hugging Face -repositorio palautti pääsyvirheen, ja Baidun julkisella listalla oli vain pohjamallin kaksi versiota.

Painojen ajamiseen Baidu tarjoaa vLLM-ERNIE-laajennuksen, joka vaatii vLLM 0.32.0:n ja NVIDIA:n GPU:t. Ohjeet ovat GitHubissa baidu/vLLM-ERNIE-repositoriossa. Ohjeiden mukaan pohjamallin FP8-painot vievät noin 280 gigatavua. Niiden ajamiseen tarvitaan vähintään kaksi 288 gigatavun, neljä 192 gigatavun tai kahdeksan 80 gigatavun GPU:ta. Miljoonan tokenin konteksti ei mahdu 80 gigatavun GPU:ihin.