John Langford förklarade den 6 november på sin blogg Machine Learning (Theory) varför han lämnade Microsoft och varför gruppen AI Frontiers inte längre finns. Inlägget är hans egen beskrivning av händelserna.

Efter lanseringen av ChatGPT 2023 stod det klart för Langford att forskningen inom Microsoft Research (MSR) behövde organiseras mer samlat än vanligt. En enskild forskare kunde enligt honom inte längre hålla jämna steg med andra forskargrupper. Tillsammans med kollegor grundade han AI Frontiers (AIF) inom MSR.

En stor del av arbetet i den omkring 50 personer stora gruppen gällde hur man får AI-agenter att fungera. Exempel är orkestreringsramverket Autogen och Fara, en agent som använder datorn. I New York utvecklade en del av gruppen nya grundläggande metoder, som Full Bandwidth Transformer. Med hjälp av rekursion gör den i praktiken modellen betydligt mer kapabel, säger Langford.

I början av september flyttades AIF till Microsofts mycket större AI-organisation Microsoft AI (MAI). Enligt Langford satsar MAI:s ledning, som kommer från Inflection, på skalning, det vill säga att göra modellerna större, och tar bestämt avstånd från forskning. Vid skalning består huvuddelen av arbetet av att skaffa, ta fram och förädla data, säger han. Langford säger också att han såg många tecken på att AIF:s personal inte var önskad på MAI.

Langford medger att större modeller förutsäger bättre och att avkastningen på skalning är mer förutsägbar för affärsverksamheten än forskningens. Ändå leder enbart skalning åt fel håll, anser han. Som skäl nämner han ByteDances experiment. Enligt honom tyder de på att en variant av Full Bandwidth Transformer kan motsvara en dubbelt så stor modell. Branschens investeringar närmar sig en biljon dollar, säger Langford, och han frågar hur värdefullt det vore att halvera kostnaderna för träning och inferens, alltså för att köra en färdig modell.

Langford ordnade så gott han kunde nya platser åt gruppens medlemmar och lämnade företaget. Även de andra i AIF:s grundande ledning verkar ha dragit en liknande slutsats, säger han.

En återgång till MSR lockade inte, av två skäl. Langford vill inte arbeta på ett företag där hans forskning inte kan komma till användning. Eftersom han på MAI inte fick nya lösningar införda eller ens på allvar övervägda, bedömer han möjligheterna på MSR som små. Dessutom gäller inte längre MSR:s grundprincip att gott arbete leder till att goda saker händer, eftersom gruppen flyttades utan sitt samtycke, säger han. AIF:s forskare tar inte emot praktikanter under det kommande året.