OpenAI kertoi Control Roomista blogissaan ja X-tilillään 9. marraskuuta. Yhtiön mukaan järjestelmä kattaa tutkimuksen jokaisen inferenssityön eli jokaisen ajon, jossa malli tuottaa tulostetta. Tällaisia ovat esimerkiksi agenttien ajot mallien koulutuksessa ja arvioinnissa sekä datan käsittely. Molemmat julkaisut ovat yhtiön omia, eikä niissä kerrota ulkopuolisesta arvioinnista.

Control Room on otettu käyttöön OpenAI:n tutkimusinfrastruktuurissa, ei asiakkaille tarjottavassa mallipalvelussa. Yhtiön mukaan mallipalvelu on keskitetympi, ja siinä on jo vakiintunut tapa poistaa malleja nopeasti käytöstä.

Lupa jokaiseen mallikutsuun

Tutkimustyö saa käynnistyessään Control Roomilta tunnisteen. Kun työ pyytää mallilta lisää tokeneita, se välittää tunnisteen inferenssimoottorille, mallia GPU:illa ajavalle ohjelmistolle. Moottori kysyy Control Roomilta luvan, ennen kuin se vastaa pyyntöön. Jos työ on pysäytetty, moottori hylkää pyynnön, eikä työ saa enää tulostetta mistään mallista millään moottorilla.

OpenAI sijoitti tarkistuksen inferenssiin, koska tutkijoiden töiden koodi vaihtelee ja muuttuu usein. Inferenssin koodipolkuja on sen sijaan hyvin vähän, ja ne ovat yhtenäisiä. Lisäksi yhtiö etsii jatkuvasti agenttien ja ohjelmallisten tarkistusten avulla moottoreita, joista tarkistus puuttuu tai on kytketty pois.

Pysäytyksestä voi päättää esimerkiksi valvontajärjestelmä, kun monitori eli koulutettavaa mallia seuraava toinen malli hälyttää ongelmasta. OpenAI:n mukaan monitori valvoo yhtiön kärkimallien jokaista vahvistusoppimisajoa. Monitori havaitsi myös yhtiön hiljattain raportoiman, DNS-nimipalveluun liittyneen tapauksen.

OpenAI vaatii lisäksi jokaiselle agenttiajoja tekevälle tutkimustyölle hyväksytyn turvallisuusperustelun (safety case) eli kirjallisen selvityksen siitä, miksi työ on riittävän turvallinen.

35 sekunnin viive ja vikatilanteet

Yhtiön mukaan työ pysähtyy enintään 35 sekunnissa siitä, kun Control Room saa pysäytyskäskyn. Viive johtuu lupatarkistusten välimuistista, jota tarvitaan suuren pyyntömäärän vuoksi. OpenAI kertoo pyrkivänsä lyhentämään viiveen nollaan. Blogikirjoituksen johdanto ja X-julkaisu laskevat samat 35 sekuntia jo puuttumispäätöksestä. Niistä ei siis selviä, kuinka kauan päätöksen välittyminen kestää.

Järjestelmä on yhtiön mukaan rakennettu toimimaan silloinkin, kun muut järjestelmät pettävät. Jos Control Room kaatuu tai joku poistaa sen käytöstä esimerkiksi sabotoimalla, moottorit hylkäävät kaikki inferenssipyynnöt palvelun palautumiseen asti. OpenAI:n mukaan tämä suojaus on käytössä kaikissa kärkimallien tutkimustöissä, ja muihin tutkimustöihin se laajenee lähipäivinä.