Vercel: eve 1.0:ssa agentin vuoron mediaaniviive 414 ms valemallitestissä, betassa 3,04 s
Vercel julkaisi tekoälyagenttien rakentamiseen tarkoitetun avoimen lähdekoodin eve-ohjelmiston 1.0-version. Yhtiön valemallitestissä agentin vuoron mediaaniviive lyheni 3,04 sekunnista 414 millisekuntiin, mutta luku ei sisällä mallin vastausaikaa.
Vercel kertoi blogissaan 17. marraskuuta, että eve on kesäkuussa alkaneen julkisen esiversion jälkeen nyt yleisesti saatavilla. eve:n ytimessä on harness eli agenttia ohjaava ohjelma, joka antaa mallille työkalut ja ajaa sen työvaiheet. eve:ssä harness jakaa myös työtä aliagenteille. Workflow SDK tallentaa agentin edistymisen, joten kaaduttuaan agentti jatkaa viimeisestä valmiista vaiheesta.
Vercel Workflows -palvelussa ajetussa kuormitustestissä vuoron mediaaniviive oli Vercelin mukaan syyskuun alun betaversiolla 3,036 sekuntia ja 1.0-versiolla 414 millisekuntia. 95. persentiilin viive laski 3,692 sekunnista 633 millisekuntiin.
Luku ei kerro, kuinka nopeasti agentti vastaa oikealla mallilla. Testi lähettää sata viestiä yksi kerrallaan. Niihin vastaa valemalli heti, eikä vuoroissa kutsuta työkaluja. Aika mitataan viestin lähettämisestä vuoron valmistumiseen, joten se kuvaa vain eve:n ja Workflow’n omaa käsittelyaikaa. Mallin vastausaika tulee tämän päälle. eve:n GitHub-repositoriossa on julkinen kuormitustesti, jossa yksi istunto käy läpi sata peräkkäistä vuoroa.
Blogissa on myös ristiriita: kaavion kuvatekstissä 1.0:n mediaaniksi mainitaan 626 millisekuntia, taulukossa ja tekstissä 414.
Vercelin mukaan nopeutus johtuu Workflow-tiimin kanssa tehdystä muutoksesta: jokaisella ajolla on yksi orkestroija, joten taustavaiheet eivät enää toista työnkulkua. Lisäksi turhia historiatietojen hakuja karsittiin. eve-agentit saavat nämä parannukset Workflow SDK:n kautta.
Vercel arvioi esimerkkinä käyttämänsä 50 vuoron istunnon kustannuksen Vercel Workflows -palvelussa laskevan 5,4 sentistä 1,3 senttiin eli noin 76 prosenttia. Arviossa oletetaan noin kaksi mallivaihetta vuorossa ja 30 päivän säilytys. Se koskee työnkulkupalvelua, ei mallikutsuja.
Muita uudistuksia ovat monen käyttäjän yhteiset istunnot, Slackin kaltaiset viestikanavat, istunnosta toiseen säilyvä muisti ja OpenTelemetry-jäljitys.
Agentin voi ajaa itse tai Vercelissä. Uuden agentin luominen komentoriviltä vaatii Node.js 24:n tai uudemman. Nykyisiä käyttäjiä Vercel kehottaa seuraamaan eve.dev-sivuston 1.0-päivitysohjetta ennen päivitetyn agentin julkaisua, koska muutokset koskevat muun muassa agenttirajapintoja ja tallennettua historiaa.
Lue lisää: Miten agentti toimii · Agenttikartta