OpenAI: Responses API hylkää GPT-6.2:n päättelyn muokatun viestin jälkeen
OpenAI neuvoo GPT-6.2 Astraa ja Solia käyttäviä kehittäjiä pitämään keskusteluhistorian ennallaan ja lisäämään uudet vuorot sen perään. Yhtiön mukaan säilynyt päättely antaa parempia tuloksia pienemmällä tokenmäärällä.
OpenAI Developers -tili kertoi X:ssä 19. marraskuuta muutoksesta, joka koskee yhtiön uusimpia kärkimalleja GPT-6.2:sta alkaen. Jokainen päättelyerä on nyt sidottu sitä edeltävään keskusteluhistoriaan. Jos kehittäjä muokkaa aiempaa viestiä, Responses API hylkää päättelyn, joka on historiassa muokatun kohdan jälkeen.
Päättelymalli käyttää ennen vastaustaan tokeneita näkymättömään päättelyyn. Responses API voi tallentaa tämän päättelyn ja tuoda sen seuraavan vuoron kontekstiin, jolloin malli jatkaa aiemmasta työstään eikä tee sitä uudelleen. OpenAI:n ohjeen mukaan päättelyn tekstiä ei silti näytetä kehittäjälle.
GPT-6.2:n ohjeessa OpenAI luettelee kolme tilannetta, joissa päättely katoaa: keskusteluhistoriaa muokataan kesken keskustelun, mallia vaihdetaan tietyllä tavalla, esimerkiksi alemman tason malliin, tai loppukäyttäjä tai organisaatio vaihtuu. Silloin vastausten laatu voi yhtiön mukaan heiketä, ja malli voi kuluttaa enemmän tokeneita toistaessaan aiempaa työtä.
Muutos koskee etenkin harnessia eli agenttia ohjaavaa ohjelmaa, joka antaa mallille työkalut ja ajaa sen työvaiheet. Jos harness muuttaa esimerkiksi aiempia kehittäjäviestejä tai työkalukutsuja, päättely katoaa. OpenAI neuvoo lisäämään uudet vuorot historian perään.
Sama sääntö koskee välimuistia. Se käyttää syötteen alkuosaa uudelleen, jos alkuosa on täsmälleen sama kuin aiemmin käsitelty. GPT-6.2 lisää ylätason instructions-kentän ohjeet syötteen perään. Siksi toistuvat ohjeet kannattaa OpenAI:n mukaan sijoittaa syötteen ensimmäiseksi kehittäjäviestiksi, jotta ne löytyvät välimuistista. GPT-5.5:stä tai vanhemmista malleista siirtyvän on myös korvattava prompt_cache_retention-asetus asetuksella prompt_cache_options.ttl, jonka arvoksi tulee "30m".
OpenAI:n mukaan päättelyn säilyminen tuo parempia tuloksia, vähemmän tokeneita ja enemmän välimuistiosumia. Yhtiö ei esitä väitteen tueksi lukuja.
Päättely säilyy, kun kehittäjä viittaa edelliseen vastaukseen previous_response_id-tunnisteella tai lähettää koko historian alkuperäisessä järjestyksessä ja liittää uudet kohteet perään. Jos vastauksia ei tallenneta OpenAI:lle, mukaan on liitettävä salatut päättelyerät. Päättelyä voi käyttää uudelleen vain saman malliperheen sisällä.
Lue lisää: Miten agentti toimii · Agenttikartta