LangSmith kytkee koodausagenttien kulut niiden avaamiin pull requesteihin
LangChainin LangSmith-palvelun uusi beetaominaisuus liittää koodausagenttien kulut GitHubin ja GitLabin pull requesteihin. Sen avulla näkee, mitä yhdistetty muutos maksoi ja kuinka suuri osa kuluista ei johtanut pull requestiin.
LangChain esitteli 18. marraskuuta julkaistulla videolla LangSmith-palveluunsa uuden näkymän. Se kokoaa Claude Coden, OpenAI Codexin, Cursorin, GitHub Copilotin ja Deep Agentsin kulut samaan paikkaan, joten niitä ei tarvitse etsiä kunkin toimittajan omasta hallintanäkymästä. Yhtiön mukaan koodaus on yritysten tekoälysovelluksissa suurin kuluerä, 34 miljardia dollaria vuonna 2026. Silti useimmat kehitysjohtajat eivät yhtiön mukaan osaa sanoa tarkasti, mitä rahalla saadaan.
Toiminta perustuu jäljitystietoihin eli tallenteisiin agentin työvaiheista. GitHub tai GitLab ilmoittaa LangSmithille, kun pull request avataan, sitä päivitetään tai se yhdistetään. Silloin LangSmith liittää siihen ne keskusteluketjut, joiden jäljitystiedoissa on sama repositorio ja lähdehaara. Näin näkee yhdistetyn pull requestin hinnan ja sen, kuinka suuri osa kuluista ei johtanut yhteenkään pull requestiin.
Kytkentä on siis vain niin kattava kuin agenttien tallentamat Git-tiedot. LangChainin ohjeen mukaan GitHub Copilot tallentaa repositorion ja haaran vain Local-harnessissa ja silloinkin vain kansiossa, jolla on Git-etärepositorio. Harness on agenttia ohjaava ohjelma, joka antaa mallille työkalut ja ajaa sen työvaiheet. Näkymä ei näytä pull requesteja, jotka on yhdistetty ennen yhteyden luomista. Pull request -kohtaiset kulut alkavat siksi kertyä vasta sen jälkeen.
Kun yhteys GitHubiin tai GitLabiin on luotu, yhteenveto näyttää muun muassa kulut yhdistettyä pull requestia kohden, välimuistin osuuden, yhdistämiseen kuluvan ajan ja yhdistettyjen pull requestien osuuden. Kaaviot voi ryhmitellä esimerkiksi käyttäjän, repositorion, harnessin tai mallin mukaan. Jos tiimi vaihtaa mallia, ohje neuvoo vertaamaan kuluja ennen vaihtoa ja sen jälkeen. Samalta ajanjaksolta kannattaa ohjeen mukaan tarkistaa, yhdistetäänkö pull requestit yhä.
Ominaisuus on julkisessa beetassa LangSmith Cloudissa. Se vaatii agenttipohjaisen työtilan, eikä se ole käytettävissä itse ylläpidetyssä LangSmithissa. Pull request -kytkentä ja koodauskaaviot näkyvät vain agenteissa, joiden tyypiksi on asetettu Coding. Jokaiseen tiimin käyttämään koodausagenttiin pitää ottaa käyttöön jäljitys, joka lähettää tiedot tällaiselle agentille. Claude Codeen, Codexiin ja Cursoriin asennetaan sitä varten LangSmithin lisäosa. Olemassa olevan agentin tyypin vaihtaminen vaatii oikeuden hallita työtilan asetuksia. GitHub- tai GitLab-tilin yhdistäminen vaatii oikeuden päivittää kaikkia agentin ympäristöjä, ja GitHub-sovelluksen asentaminen voi vaatia organisaation ylläpitäjän hyväksynnän.
Lue lisää: Miten agentti toimii · Agenttikartta