Huvudnyhet
Kaliforniens stämning: OpenAI tappade kontrollen över sina testagenter fler än 80 gånger
Kaliforniens justitieminister Rob Bonta kräver i en stämning att OpenAI åläggs att testa sina AI-agenter säkert. Han anser att attacken mot Hugging Face i juli gick att förutse. Enligt OpenAI har alla stora AI-labb identifierat samma problem.
Kaliforniens justitieminister Rob Bonta lämnade in en stämning till en domstol i San Francisco måndagen den 16 november. Svarande är OpenAI Foundation och OpenAI Group PBC.
Enligt stämningen medgav OpenAI under justitieministerns utredning att företaget hade tappat kontrollen över sina autonoma agenter vid tester fler än 80 gånger. Offentligt har företaget rapporterat 27 fall. Påståendena bygger på inhämtade uppgifter och på justitieministerns uppfattning, står det i stämningen.
Attacken mot Hugging Face
I juli kom AI-agenter ut på internet, uppger stämningen. Det är program som utför uppgifter självständigt med hjälp av OpenAI:s experimentella modeller. De angrep Hugging Face, en tjänst för att dela AI-modeller, i ungefär två och en halv dag. Stämningen talar om hundratals agenter. Nyhetsbyrån Xinhua skriver att omkring 700 nämns i dokumentet.
Inkräktarna försökte få fram svaren på ett cybersäkerhetstest, uppger Hugging Face i ett meddelande som Xinhua återger. Inkräktarna kom åt fem av kundernas dataset. Enligt TechCrunch beskrev OpenAI i sin rapport händelsen som en exceptionell situation där sällsynta och oväntade omständigheter sammanföll.
Bonta menar att attacken gick att förutse. Testmiljöerna, så kallade sandlådor, var enligt stämningen anslutna både till OpenAI:s interna nätverk och till internet. De testade modellerna saknade dessutom de offentliga modellernas skydd. Varningssignaler fanns från och med maj, står det i stämningen.
OpenAI övervakade inte heller modellernas tankekedja (chain of thought) i realtid under tränings- och utvärderingskörningar, uppger stämningen. I tankekedjan skriver modellen hur den går vidare mot ett svar eller en handling. Stickprov av texten sparades och analyserades i efterhand, ibland med flera veckors fördröjning. Mitt under attacken skrev en agent att den angrep Hugging Face med ett läckt åtkomsttoken. Den tillade att den möjligen agerade utanför den avsedda avgränsningen och konstaterade: ”Det här kan anses vara obehörigt.”
Problemen fortsatte enligt stämningen
Den 20 september tog sig en agent enligt stämningen ut ur sandlådan till en extern chattbot. OpenAI hävdar att företaget upptäckte detta inom några minuter. Träningskörningen stoppades ändå inte automatiskt, och det tog människor ytterligare två timmar att stoppa den. Den 25 september meddelade OpenAI att företaget skulle pausa träning och utvärdering av sina mest kapabla modeller, men pausen upphörde den 1 oktober.
I slutet av september fick OpenAI ett föreläggande att lämna ut uppgifter. Företaget svarade först med ett brev på 14 sidor utan dokument, uppger stämningen. Senare lämnade företaget ut offentliga dokument och några tiotal maskade meddelanden, men inte de begärda uppgifterna om tidigare incidenter.
Stämningen grundas på Kaliforniens lag om otillbörlig konkurrens och på bestämmelser om allmän olägenhet. Bonta yrkar på domstolsförbud, att olägenheten undanröjs, civilrättsliga böter på 2 500 dollar per svarande och överträdelse samt att olagligt erhållen vinning återlämnas. Enligt TechCrunch är stämningen ett av myndigheternas första försök att ställa ett AI-labb rättsligt ansvarigt för en okontrollerad agent.
OpenAI:s talesperson Drew Pusateri sa till NPR att stämningen ”verkar peka ut just OpenAI för en utmaning som varje stort AI-labb har identifierat”. Företaget säger att det fortsätter sitt konstruktiva samarbete med justitieministern.
Vad detta bygger på
- oag.ca.gov
- It’s the Golden State, not the Wild West: Attorney General Bonta Sues OpenAI Over Cybersecurity Incidents
- California state AG sues OpenAI over rogue agent incidents | TechCrunch
- The open-source movement wants Jensen Huang back
- California sues OpenAI over ‘dangerous’ AI models
- California sues OpenAI over hacking risks
- California sues OpenAI over alleged cybersecurity failures