Gemini API voi nyt ladata työkalujen parametrikuvaukset vasta, kun malli pyytää niitä
Googlen esiversiona julkaisema Tool Retrieval jättää agentin työkalujen parametrikuvaukset pois kehotteesta, kunnes malli tarvitsee niitä. Google sanoo tämän vähentävän tokenien kulutusta suurissa työkalukirjastoissa, mutta blogissa ei esitetä mittaustuloksia.
Google toi 19. marraskuuta Gemini API:n Interactions API -rajapintaan esiversiona Tool Retrieval -ominaisuuden. Se on tarkoitettu tekoälyagenteille eli mallin avulla toimiville ohjelmille, joilla on käytössään kymmeniä tai satoja työkaluja.
Gemini API:n tuotepäällikkö Lucia Loher ja Google DeepMindin tutkija Nora Kassner kirjoittavat yhtiön blogissa, että kaikkien parametrikuvausten lähettäminen joka pyynnössä lisää syötteeseen tokeneita ja kasvattaa viivettä. Heidän mukaansa malli myös valitsee työkalun epätarkemmin, kun vaihtoehtoja on paljon. Parametrikuvaus kertoo, mitä tietoja työkalu ottaa vastaan ja missä muodossa.
Kehittäjä merkitsee osan työkaluista lykätyiksi. Malli näkee niidenkin nimen ja kuvauksen, mutta niiden parametrikuvaukset jäävät pois. Kun malli tarvitsee työkalua, se pyytää sitä nimellä. Rajapinta lataa kuvauksen, ja malli muodostaa työkalukutsun saman pyynnön aikana. Googlen esimerkissä malli löytää näin hyvitystyökalun yli 50 lykätyn funktion joukosta. Itse hyvityksen tekee kehittäjän oma koodi. Google ajaa haun omalla palvelimellaan, joten kehittäjän ei tarvitse rakentaa hakuindeksiä.
Google neuvoo pitämään useimmin käytetyt työkalut ladattuina ja lykkäämään harvoin tarvittavat. Kehittäjä voi lykätä etäkäytettävän MCP-palvelimen kaikki työkalut yhdellä asetuksella.
Google ei peri ominaisuudesta erillistä maksua. Hakutyökalu lisää syötteeseen pienen kiinteän määrän tokeneita, ja jokainen ladattu kuvaus laskutetaan syötteenä keskustelun loppuun asti. Säästöä syntyy, jos lataamatta jäävissä kuvauksissa on enemmän tokeneita kuin ladatuissa. Google ei esitä mitattuja säästöjä tai tarkkuuslukuja vaan kehottaa mittaamaan vaikutuksen omalla liikenteellä.
Välimuisti tallentaa kehotteen toistuvan alkuosan, jotta sitä ei tarvitse käsitellä joka kierroksella uudelleen. Googlen mukaan Tool Retrieval ei muuta tätä alkuosaa, koska lykätyt kuvaukset eivät ole kehotteen alussa ja ladatut lisätään keskusteluun myöhemmin.
Jos kehittäjällä on oma työkalurekisteri tai käyttäjäkohtainen käyttöoikeussuodatin, hän voi ajaa haun omassa sovelluksessaan. Silloin jokainen haku vaatii yhden ylimääräisen kutsukierroksen, mutta kehittäjä voi tuoda uusia työkaluja mukaan kesken keskustelun.
Tool Retrieval toimii Interactions API:ssa Gemini 3.6:n ja sitä uudempien mallien kanssa, myös kaikkien Gemini 4 -mallien. Kehittäjä ottaa ominaisuuden käyttöön lisäämällä pyyntöön tool_search-työkalun ja lykättäviin työkaluihin asetuksen defer_loading: true. Tarkemmat ohjeet ovat Gemini API:n dokumentaatiossa.
Lue lisää: Miten agentti toimii · Agenttikartta