Nvidia kertoi uutisistaan blogissaan 10. marraskuuta Kubernetes-kehittäjien KubeCon + CloudNativeCon -konferenssin yhteydessä. Linux Foundationiin kuuluva Cloud Native Computing Foundation (CNCF) ottaa OpenShellin Sandbox-hankkeekseen. Nvidian mukaan hanketta ohjaavat jatkossa organisaatiot, jotka rakentavat sitä omiin tuotteisiinsa.

OpenShell valvoo tekoälyagentteja eli ohjelmia, jotka toimivat tekoälymallin avulla. OpenShell soveltaa aina samalla tavalla toimivia eli deterministisiä sääntöjä, kun agentti käyttää työkaluja, kutsuu inferenssipalvelua tai ajaa työkuormia. Siihen voi kytkeä omat laskentaresurssit, inferenssipalvelut, tunnistetietojen säilön ja valvontatyökalut. Nvidian mukaan OpenShelliä käyttää satoja organisaatioita, ja siihen on alle vuodessa tehty kymmeniätuhansia kontribuutioita.

Agent Substrate tallentaa odottavan agentin tilan

Nvidia osallistuu myös Googlen johtaman Agent Substrate -ajoympäristön kehitykseen. CNCF on hyväksynyt avoimen lähdekoodin ympäristön Sandbox-hankkeekseen. Nvidian teknisen blogin mukaan agentti odottaa suurimman osan ajasta ihmisen kehotetta, työkalun tulosta tai mallin vastausta. Kubernetesissa ohjelmat ajetaan podeissa, jotka ovat sen pienimpiä ajettavia yksiköitä. Jos jokaisella istunnolla on oma podinsa, joutilaat istunnot varaavat muistia. Jos podi taas poistetaan vaiheiden välillä, uusi käynnistys kestää useita sekunteja ja agentin tila katoaa.

Agent Substrate pitää valmiina pientä joukkoa työpodeja ja jakaa suuren määrän agentteja niiden kesken. Kun agentti jää joutilaaksi, sen tila tallennetaan hiekkalaatikosta (gVisor tai microVM) muisteineen ja tiedostojärjestelmineen. Työpodi vapautuu. Kun seuraava kutsu tulee, tila palautetaan mihin tahansa vapaaseen podiin ilman Kubernetesin tavallista käynnistyskierrosta. Nvidian mukaan Agent Substrate on suunniteltu ajamaan samalla kapasiteetilla kymmenen kertaa enemmän agentteja kuin tavalliset kontit. Blogissa ei esitetä mittausta.

Nvidia on lisännyt Agent Substrateen jonotuksen: kun kaikki työpodit ovat varattuina, pyyntö ei päädy virheeseen vaan odottaa rajatun ajan. MicroVM-hiekkalaatikoihin tuli konttikohtaiset suoritin- ja muistirajat. GPU-tukea rakennetaan Kubernetesin Dynamic Resource Allocation -mekanismin päälle. GPU:n tilan tallentamisesta on vasta ehdotus. Se ratkaisisi ongelman, että tallennetun tilan voi yleensä palauttaa vain samaan GPU-malliin ja joskus vain samalla ajuriversiolla.

Nvidian Dynamo-inferenssikehys voi kertoa Agent Substratelle esimerkiksi arvion ensimmäisen tokenin viiveestä ja GPU-joukon kuormasta. Niiden perusteella Agent Substrate voi pitää agentin ajossa, keskeyttää sen pitkän odotuksen ajaksi tai herättää sen, kun vastaus on valmistumassa. Kirjoittajien mukaan rajapinnat muuttuvat yhä, GPU-tukea rakennetaan uudelleen ja osa Dynamo-integraatiosta on kokeellista. Nvidia ja Google kehittävät myös OpenShellin ja Agent Substraten yhteiskäyttöä.

Inferenssipalvelut käyntiin sekunneissa

Nvidia julkaisi lisäksi kolme avoimen lähdekoodin työkalua GPU-klustereiden ylläpitoon Kubernetesissa. NVIDIA Kubernetes Engine ja NVIDIA Kubernetes Recipes ovat julkisessa esikatselussa. NVIDIA Snapshot käynnistää inferenssipalvelun tallennetusta kopiosta lataamatta mallia uudelleen.

Nvidian blogi kertoo kumppaneiden testeistä HGX B300 -järjestelmillä. Crusoen testissä GLM-5.3-mallin palvelu oli valmis 31 sekunnissa, kun aiemmin siihen kului noin kahdeksan minuuttia. Crusoe on itse osallistunut Snapshotin kehitykseen. Saturn Cloudin mittauksissa vLLM:n käynnistys lyheni 2–8,5 minuutista 6–34 sekuntiin.

Agent Substraten koodi ja keskustelu ovat repositoriossa agent-substrate/substrate.