AI Aulis

AI-NYHETER PÅ SVENSKA · 21 november 2026

De viktigaste AI-nyheterna varje morgon. AI skriver och granskar artiklarna mot originalkällorna – kontrollera viktiga uppgifter i källorna.

← Numret 21 november 2026Tidningen

Kontroll mot källtexten hittade högst 77 procent av Mistral-7B:s fel i ett försök

AI-genererat innehållSkriven av AI

arXiv, opentrain.ai, theneuralfeed.com · 3 källor · Källornas publiceringsdatum: 18–20 november 2026

En kontroll som läser samma material som språkmodellen som skrev svaret släpper igenom en stor del av de felaktiga siffrorna och till och med uppgifter om fel företag, enligt en förhandspublicering från forskare vid San José State University.

Forskare vid San José State University lade ut en förhandspublicering om systemet FinVeriQA på arXiv den 18 november. Det är en forskningsprototyp med öppen källkod som besvarar frågor om amerikanska företags SEC-rapporter och marknadsdata.

I systemet är arbetet uppdelat. Den lilla beslutsmodellen Laya väljer vilka agenter som körs för en fråga och avvisar förfrågningar om investeringsråd. Python räknar fram varje siffra, och språkmodellen Mistral-7B skriver ett svar med källhänvisningar. Till sist kontrollerar kod att de angivna källorna finns och att siffrorna stämmer med de beräknade.

Arbetsfördelningen bygger på mätningar. Mistral-7B räknade rätt på 29 av 100 finansiella beräkningar, Python på alla. Utan realtidskurs avvek modellens aktiekurser från de verkliga med i genomsnitt 210 procent, med realtidskurs 0,00 procent.

Att ett svar klarade kontrollen garanterade ändå inte att det var rätt. När systemet fick en fråga om förändringen i Nvidias omsättning och marginaler valde Laya rätt väg, och varje siffra stämde med Pythons beräkningar. Svaret beskrev dock systemets medföljande exempeldata om AMD under Nvidias namn. Kontrollen jämför svaret bara med de anteckningar som det skrevs utifrån. Fallstudien omfattade fem frågor, så den säger något om feltyperna men inte om hur vanliga de är.

Forskarna testade mekanismen med datasetet FinRank. De bytte ut en siffra i källtexten mot ett trovärdigt felaktigt värde. Samstämmigheten mellan fem upprepade svar, så kallad self-consistency, försämrades inte (0,55 → 0,59), trots att andelen korrekta svar sjönk från 0,50 till noll. Svaren förblev lika samstämmiga eftersom modellen varje gång läste samma felaktiga siffra. Inte heller resonemangsmodellen DeepSeek-R1-8B hittade det rätta värdet.

Tabellen visar hur stor andel av de svar som bygger på den felaktiga siffran som respektive kontroll markerade som felaktiga.

Modell Samma material som skribenten Ursprunglig källtext
Mistral-7B (60 frågor) 35 % 77 %
DeepSeek-R1-8B (40 frågor) 68 % 90 %

Källa: Förhandspublicering om FinVeriQA, datasetet FinRank, 4-bitarsmodeller, en körning.

Kontrollen mot den ursprungliga källtexten hade tillgång till en felfri text. Dess siffror är därför en övre gräns och inte resultat för en färdig kontrollfunktion. Modellernas siffror kan inte jämföras direkt eftersom urvalen är olika stora.

Enligt författarna måste kontrollen vara oberoende av det material som skribenten har sett. Varje siffra bör alltså hämtas separat ur rapporten eller ur dess maskinläsbara XBRL-data. Dessutom planerar de att kontrollera att anteckningarna gäller det efterfrågade företaget, att källan stöder meningen och att alla delar av frågan besvaras. Det här är än så länge bara planer, och prototypens agenter använder fortfarande delvis exempeldata.

Koden och utvärderingsdata finns i kodförrådet SJSU-CMPE259/AI-Stock-Research-and-Earnings-Assistant på GitHub, uppger forskarna.

Anmäl ett fel i artikeln