Baidu presenterade sin nya språkmodell på en lanseringssida den 11 november. ERNIE 5.5 Flash Preview är enligt företaget den första efterränade versionen av basmodellen ERNIE 5.5 Flash Base, vars vikter Baidu öppnade tidigare i november. Basmodellen fortsätter bara den text den får. Preview-modellen har fått resonemang och verktygsanrop, skriver teknikwebbplatsen Pandaily.

Baidu uppger att modellen är stark inom kodning, 3D-modellering, kunskapsarbete och innehållsproduktion. Det kinesiska teknikmediet Leiphone skriver att modellen fick konkurrenskraftiga resultat i bland annat benchmarkarna Terminal-Bench och AutomationBench. Pandaily påpekar att detta är Baidus egna påståenden.

Baidu varnar själv för att Preview-modellen är ett mellansteg i en oavslutad efterträning och att dess förmågor ännu kan vara delvis bristfälliga. Företaget avser att förbättra modellen utifrån användarnas återkoppling före den officiella lanseringen.

Modellens uppbyggnad och Baidus exempel

Enligt Baidus kodförråd vLLM-ERNIE är det en MoE-modell: varje lager har 512 expertnätverk, och för varje token väljs tio av dem. Modellen har 280 miljarder parametrar, men vid behandlingen av varje token används 14 miljarder av dem.

I 37 av modellens 43 lager sparas de 128 senaste token i cachen, liksom en komprimerad post för varje block om 128 token. Basmodellen förtränades med en kontext på högst 128 000 token, men vid inferens stöder den en kontext på omkring en miljon token (1 048 576). Modellen genererar över 200 token per sekund, uppger Leiphone. Mätförhållandena anger Leiphone inte.

Som exempel uppger Baidu att modellen i en enda kodningsuppgift på 11 timmar skrev ett tredjepersonsspel i C++ för Unreal Engine 5.8. Modellen arbetade i en harness, det vill säga ett program som styr agenten, ger modellen verktyg och kör dess arbetssteg. Modellen hanterar bara text och ser inte skärmen. Därför omvandlade den fel som upptäcktes vid speltestningen, till exempel en figur som svävade ovanför marken, till mätbara tester i koden.

Tillgänglighet, pris och vikter

Modellen kan användas via ett API i Baidus molntjänst Qianfan. I Qianfans modellista, uppdaterad den 10 november, har API:et ernie-5.5-flash-preview en anropsgräns på 60 förfrågningar och en miljon token per minut som standard, skriver Pandaily. Leiphone uppger att en miljon token indata kostar 2 yuan under högtrafik och 1 yuan under lågtrafik. Motsvarande priser för utdata är 8 och 4 yuan. Dessutom ges 50 procents rabatt på priserna under en begränsad tid.

Baidu lovar att snart öppna vikterna under licensen Apache 2.0. Enligt Leiphone sker det den 25 november. Pandaily kontrollerade läget den 11 november: Preview-modellens kodförråd på Hugging Face gav ett åtkomstfel, och Baidus offentliga lista innehöll bara basmodellens två versioner.

För att köra vikterna erbjuder Baidu tillägget vLLM-ERNIE, som kräver vLLM 0.32.0 och GPU:er från NVIDIA. Instruktionerna finns på GitHub i kodförrådet baidu/vLLM-ERNIE. Där står att basmodellens FP8-vikter tar upp omkring 280 gigabyte. För att köra dem krävs minst två GPU:er med 288 gigabyte, fyra med 192 gigabyte eller åtta med 80 gigabyte. En kontext på en miljon token ryms inte på GPU:er med 80 gigabyte.