OpenCSG presenterar den andra offentliga versionen av sin Agentic-serie i ett modellkort på Hugging Face. Pandaily rapporterade om modellen den 7 november utifrån modellkortet och företagets kinesiskspråkiga tekniska presentation.

Agentic-27B är avsedd för AI-agenter, alltså program som utför arbetsuppgifter med hjälp av en modell. Enligt modellkortet är modellen anpassad för att välja rätt skill, formulera giltiga verktygsanrop, läsa resultaten som verktygen returnerar och återhämta sig från fel. En skill är ett paket med instruktioner och verktyg för en viss uppgift.

Modellen bygger på Qwen3.8-27B, som har omkring 27,36 miljarder parametrar. Föregångaren byggde på MoE-modellen Qwen3-30B-A3B, som bara använder en del av sina parametrar i varje beräkningssteg.

OpenCSG finjusterade modellen med metoden LoRA DPO. Med DPO lär sig modellen att föredra det bättre svaret i svarspar, och LoRA tränar bara en liten tilläggsdel i stället för hela modellen. Antalet träningsexempel var 5 857, jämfört med omkring 3 000 i den förra versionen. Exemplen har samlats in från användningen av OpenCSG:s plattform, till exempel svar med låga poäng och misslyckade verktygsanrop.

Resultaten är företagets egna

OpenCSG utvärderade modellen med sitt eget test Agentic Eval, där var och en av 119 agentuppgifter kördes tre gånger. Av poängen kommer 80 procent från att uppgiften slutförs och 20 procent från tillförlitlighet, och summan multipliceras med en säkerhetspoäng. En körning godkänns vid minst 0,75 poäng. Vid poängsättningen användes även en bedömningsmodell.

Bara 103 av de 119 uppgifterna kunde poängsättas, och deras medelvärde var 0,83. Alla tre körningar lyckades i 74 uppgifter och minst en i 96. I modellkortets höjdpunkter anges den senare siffran som 96/119 och jämförs med föregångarens 37/119. Föregångarens medelvärde anges till 0,46.

Enligt Pandaily jämför OpenCSG antalet uppgifter som lyckades alla tre gånger med föregångarens 11 och uppger att modellen kom tvåa bland de testade modellerna. Pandaily påminner om att det olika antalet poängsatta uppgifter måste beaktas när versionerna jämförs. Resultaten bevisar inte heller att modellen skulle fungera tillförlitligt i ett företags egna system, skriver sajten.

Testet Arena-Hard-v2.0 mäter förmågan att följa svåra promptar och att skriva kreativt. Där steg hard_prompt-poängen från föregångarens 26,6 till 57,68 och creative_writing-poängen från 48,2 till 68,39.

En GPU räckte i testet

OpenCSG körde modellen på inferensservern vLLM med en NVIDIA A800-GPU med 80 gigabyte minne. Vikterna i BF16-format tog 51,1 GiB minne. Minnesförbrukningen beror bland annat på kontextens längd och vLLM-versionen, uppger företaget. Testets kontextfönster var 32 768 token, trots att modellens inställningar anger en maxlängd på 262 144 positioner.

En enskild förfrågan gav omkring 29 token per sekund och åtta samtidiga förfrågningar sammanlagt omkring 213.

Enligt modellkortet bör modellens utdata inte användas ogranskade för medicinska, juridiska eller ekonomiska beslut eller för åtgärder som kräver omfattande behörigheter. Känsliga ändringar kräver bekräftelse av en människa och så snäva behörigheter som möjligt.

Vikterna kan laddas ned från Hugging Face enligt villkoren i OpenCSG:s licensavtal för modeller och data. För kommersiell användning måste tillstånd begäras från företaget via e-post, även när en modell, ett system, en agent, en API-tjänst eller en produkt har tränats med Agentic-27B som grund eller förbättrats med den. Modellkortet innehåller ett startexempel för vLLM.