John Langford kertoi 6. marraskuuta Machine Learning (Theory) -blogissaan, miksi hän jätti Microsoftin ja miksi AI Frontiers -ryhmää ei enää ole. Kirjoitus on hänen oma kuvauksensa tapahtumista.

Vuonna 2023 ChatGPT:n julkaisun jälkeen Langfordille oli selvää, että tutkimusta piti organisoida Microsoft Researchissa (MSR) tavallista yhtenäisemmin. Hänen mukaansa yksittäinen tutkija ei enää pysynyt muiden tutkimusryhmien tahdissa. Hän perusti kollegoidensa kanssa MSR:n alle AI Frontiersin (AIF).

Suuri osa noin 50 hengen ryhmän työstä koski sitä, miten tekoälyagentit saadaan toimimaan. Esimerkkejä ovat Autogen-orkestrointikehys ja tietokonetta käyttävä Fara-agentti. New Yorkissa osa ryhmästä kehitti uusia perusmenetelmiä, kuten Full Bandwidth Transformerin. Langfordin mukaan se tekee mallista rekursion avulla tehokkaasti selvästi kyvykkäämmän.

Syyskuun alussa AIF siirrettiin Microsoftin paljon suurempaan tekoälyorganisaatioon Microsoft AI:hin (MAI). Langfordin mukaan MAI:n Inflectionista tulleen johdon linja on skaalaus eli mallien kasvattaminen, ja tutkimuksen se torjuu jyrkästi. Hänen mukaansa skaalauksessa pääosa työstä on aineiston hankintaa, tuottamista ja jalostamista. Langford kertoo myös nähneensä paljon merkkejä siitä, ettei AIF:n väkeä MAI:ssa haluttu.

Langford myöntää suurempien mallien ennustavan paremmin ja skaalauksen tuoton olevan liiketoiminnan kannalta ennustettavampaa kuin tutkimuksen. Pelkkä skaalaus vie hänen mielestään silti väärään suuntaan. Perusteluksi hän mainitsee ByteDancen kokeet. Hänen mukaansa ne viittaavat siihen, että Full Bandwidth Transformerin muunnelma saattaa vastata kaksi kertaa suurempaa mallia. Langfordin mukaan alan investoinnit lähestyvät biljoonaa dollaria, ja hän kysyy, kuinka arvokasta olisi puolittaa koulutuksen ja inferenssin eli valmiin mallin ajamisen kustannukset.

Langford järjesti ryhmänsä jäsenille parhaansa mukaan uudet paikat ja lähti. Hänen mukaansa myös muut AIF:n perustajajohtoon kuuluneet näyttävät päätyneen samankaltaiseen johtopäätökseen.

Paluu MSR:ään ei houkutellut kahdesta syystä. Langford ei halua työskennellä yhtiössä, jossa hänen tutkimuksensa ei voi päätyä käyttöön. Koska hän ei saanut MAI:ssa uusia ratkaisuja käyttöön eikä edes vakavasti harkittaviksi, hän arvioi mahdollisuudet MSR:ssä pieniksi. Lisäksi MSR:n perusperiaate ”tee hyvää työtä, niin hyviä asioita tapahtuu” ei hänen mukaansa enää pidä, koska ryhmä siirrettiin pois ilman suostumustaan. AIF:n tutkijat eivät ota tulevana vuonna harjoittelijoita.