Nästan hälften av språkmodellernas 50 dåliga vanor har i stort sett försvunnit från nya modeller
Forskare vid Stanford gav 20 stora språkmodeller de promptar som ursprungligen hade framkallat 50 kända problematiska tendenser. Nästan hälften av tendenserna hade i stort sett försvunnit, men tre hade förstärkts.
Analysen har gjorts av AI-forskaren Owen Queen vid Stanford University och kollegor. Nature rapporterade om den den 19 november. Forskarna har publicerat analysen som ett blogginlägg, och den är inte referentgranskad.
Forskarna valde ut 50 ofta citerade tendenser hos stora språkmodeller som hade beskrivits i publikationer mellan slutet av 2022 och slutet av 2025. De gav de ursprungliga studiernas promptar till 20 modeller som släppts mellan mitten av 2024 och slutet av 2026. En uppgift var att räkna antalet r i ordet ”strawberry”. Den har varit svår för modellerna men klaras nu mer tillförlitligt.
Nästan hälften av tendenserna hade i stort sett försvunnit från nya modeller, och forskarna kallade dem föråldrade. I genomsnitt försvann de omkring 16 månader efter att en studie om fenomenet publicerats. Tendensen att tänka för mycket kring enkla räkneuppgifter försvann på en och en halv månad. Tendensen att stereotypt och oproportionerligt ofta beskriva svarta kvinnor som motståndskraftiga fanns kvar i över tre år.
Tre tendenser förstärktes. Dagens modeller berömmer användarens preferenser oftare än förut och föredrar sin egen text framför text från andra modeller eller människor. Dessutom är de ännu sämre än tidigare på att generera verkligt slumpmässiga tal.
”Vi som använder de här systemen bör inte ha en så fastlåst bild av vad AI kan göra och vad den inte kan göra”, säger Queen till Nature.
Enligt Queens och kollegornas analys hänvisar de senaste modellerna sällan, om ens någonsin, till källor som inte finns. Som jämförelse finns en studie av William H. Walters och Esther Isabelle Wilder som publicerades i Scientific Reports den 7 september 2023. I den var 55 procent av referenserna i litteraturöversikter som GPT-3.5 tog fram våren 2023 påhittade, mot 18 procent för GPT-4.
Att modellerna blir bättre löser ändå inte problemet direkt i praktiken, säger Maxim Topaz, som forskar om AI inom hälso- och sjukvården vid Columbia University, till Nature. Topaz har observerat att antalet påhittade referenser i vetenskapliga artiklar har ökat kraftigt sedan 2023. Troligen beror det på att allt fler forskare använder språkmodeller och att de ofta inte använder de senaste modellerna.