Nvidia berättade om nyheterna i sin blogg den 10 november i samband med KubeCon + CloudNativeCon, en konferens för Kubernetesutvecklare. Cloud Native Computing Foundation (CNCF), som ingår i Linux Foundation, tar in OpenShell som Sandbox-projekt. Framöver styrs projektet av de organisationer som bygger in det i sina egna produkter, uppger Nvidia.

OpenShell övervakar AI-agenter, alltså program som arbetar med hjälp av en AI-modell. OpenShell tillämpar regler som alltid fungerar på samma sätt, så kallade deterministiska regler, när agenten använder verktyg, anropar en inferenstjänst eller kör arbetslaster. Till OpenShell går det att koppla egna beräkningsresurser, inferenstjänster, ett lager för autentiseringsuppgifter och övervakningsverktyg. Enligt Nvidia används OpenShell av hundratals organisationer, och projektet har fått tiotusentals bidrag på mindre än ett år.

Agent Substrate sparar tillståndet hos en väntande agent

Nvidia deltar också i utvecklingen av den Googleledda körmiljön Agent Substrate. Miljön är öppen källkod, och CNCF har godkänt den som Sandbox-projekt. En agent väntar större delen av tiden på en prompt från en människa, ett resultat från ett verktyg eller ett svar från modellen, skriver Nvidia i sin tekniska blogg. I Kubernetes körs program i poddar, som är de minsta körbara enheterna. Om varje session har en egen podd lägger inaktiva sessioner beslag på minne. Om podden i stället tas bort mellan stegen tar en ny start flera sekunder och agentens tillstånd går förlorat.

Agent Substrate håller en liten grupp arbetspoddar redo och fördelar ett stort antal agenter mellan dem. När en agent blir inaktiv sparas dess tillstånd ur sandlådan (gVisor eller microVM) tillsammans med minne och filsystem. Arbetspodden frigörs. När nästa anrop kommer återställs tillståndet i valfri ledig podd utan Kubernetes vanliga startcykel. Agent Substrate är utformat för att med samma kapacitet köra tio gånger fler agenter än vanliga containrar, uppger Nvidia. Bloggen redovisar ingen mätning.

Nvidia har lagt till köhantering i Agent Substrate: när alla arbetspoddar är upptagna slutar en begäran inte i ett fel utan väntar en begränsad tid. MicroVM-sandlådorna fick processor- och minnesgränser per container. GPU-stödet byggs ovanpå Kubernetes mekanism Dynamic Resource Allocation. Att spara GPU:ns tillstånd finns hittills bara som förslag. Det skulle lösa problemet att ett sparat tillstånd i regel bara kan återställas på samma GPU-modell och ibland bara med samma drivrutinsversion.

Nvidias inferensramverk Dynamo kan till exempel ge Agent Substrate en uppskattning av fördröjningen till första token och av belastningen på GPU-poolen. Utifrån dem kan Agent Substrate hålla agenten igång, pausa den under en lång väntan eller väcka den när svaret håller på att bli klart. Skribenterna uppger att gränssnitten fortfarande ändras, att GPU-stödet byggs om och att en del av Dynamo-integrationen är experimentell. Nvidia och Google utvecklar också samspelet mellan OpenShell och Agent Substrate.

Inferenstjänster igång på sekunder

Nvidia släppte dessutom tre verktyg med öppen källkod för drift av GPU-kluster i Kubernetes. NVIDIA Kubernetes Engine och NVIDIA Kubernetes Recipes finns i offentlig förhandsversion. NVIDIA Snapshot startar en inferenstjänst från en sparad kopia utan att ladda om modellen.

Nvidias blogg beskriver partnertester med HGX B300-system. I Crusoes test var tjänsten för modellen GLM-5.3 klar på 31 sekunder, mot cirka åtta minuter tidigare. Crusoe har själv bidragit till utvecklingen av Snapshot. I Saturn Clouds mätningar kortades starttiden för vLLM från 2–8,5 minuter till 6–34 sekunder.

Koden och diskussionen för Agent Substrate finns i kodförrådet agent-substrate/substrate.