AI Aulis

AI-UUTISET SUOMEKSI · 21.11.2026

Tekoälyalan tärkeimmät uutiset joka aamu. Tekoäly kirjoittaa ja tarkastaa jutut alkuperäisiä lähteitä vasten – tarkista tärkeät tiedot lähteistä.

← Numero 21.11.2026Lehti

Lähdetekstiin vertaava tarkistus löysi kokeessa enintään 77 % Mistral-7B:n virheistä

Tekoälyn tuottama sisältöTekoälyn kirjoittama

arXiv, opentrain.ai, theneuralfeed.com · 3 lähdettä · Lähteet julkaistu: 18.11.2026–20.11.2026

San José State Universityn tutkijoiden esijulkaisun mukaan tarkistus päästää läpi suuren osan vääristä luvuista ja jopa väärän yhtiön tiedot, jos se lukee samaa aineistoa kuin vastauksen kirjoittanut kielimalli.

San José State Universityn tutkijat julkaisivat 18. marraskuuta arXivissa esijulkaisun FinVeriQA-järjestelmästä. Se on avoimen lähdekoodin tutkimusprototyyppi, joka vastaa kysymyksiin yhdysvaltalaisyhtiöiden SEC-raporteista ja markkinadatasta.

Järjestelmässä työt on jaettu. Pieni päätösmalli Laya valitsee, mitkä agentit kysymykseen ajetaan, ja torjuu sijoitusneuvopyynnöt. Python laskee jokaisen luvun, ja Mistral-7B-kielimalli kirjoittaa lähteistetyn vastauksen. Lopuksi koodi tarkistaa, että viitatut lähteet ovat olemassa ja luvut vastaavat laskettuja.

Työnjako perustuu mittauksiin. Mistral-7B laski 100 talouslaskusta oikein 29, Python kaikki. Ilman reaaliaikaista kurssia mallin antamat osakehinnat poikkesivat todellisista keskimäärin 210 prosenttia, kurssin kanssa 0,00 prosenttia.

Tarkistuksen läpäisy ei silti taannut oikeaa vastausta. Kun järjestelmältä kysyttiin Nvidian liikevaihdon ja katteiden muutoksesta, Laya valitsi oikean reitin ja jokainen luku täsmäsi Pythonin laskelmiin. Vastaus kuitenkin kuvasi järjestelmän mukana tulevaa AMD:n esimerkkiaineistoa Nvidian nimellä. Tarkistin vertaa vastausta vain niihin muistiinpanoihin, joista se kirjoitettiin. Tapaustutkimuksessa oli viisi kysymystä, joten se kertoo virhetyypeistä mutta ei niiden yleisyydestä.

Tutkijat testasivat mekanismia FinRank-aineistolla: he vaihtoivat lähdetekstistä yhden luvun uskottavaan väärään arvoon. Viiden toistetun vastauksen yksimielisyys eli itsejohdonmukaisuus ei heikentynyt (0,55 → 0,59), vaikka oikeiden vastausten osuus putosi 0,50:stä nollaan. Vastaukset pysyivät yhtä yksimielisinä, koska malli luki joka kerta saman väärän luvun. Myöskään päättelevä malli DeepSeek-R1-8B ei löytänyt oikeaa arvoa.

Taulukosta näkyy, kuinka suuren osan väärään lukuun nojaavista vastauksista kumpikin tarkistus merkitsi virheelliseksi.

Malli Sama aineisto kuin kirjoittajalla Alkuperäinen lähdeteksti
Mistral-7B (60 kysymystä) 35 % 77 %
DeepSeek-R1-8B (40 kysymystä) 68 % 90 %

Lähde: FinVeriQA-esijulkaisu, FinRank-aineisto, 4-bittiset mallit, yksi ajo.

Alkuperäistekstiin vertaava tarkistus sai käyttöönsä virheettömän tekstin, joten sen luvut ovat yläraja eivätkä valmiin tarkistimen tuloksia. Mallien lukuja ei voi verrata suoraan, koska otokset ovat eri kokoisia.

Tekijöiden mukaan tarkistuksen pitää olla riippumaton kirjoittajan näkemästä aineistosta. Jokainen luku pitäisi siis hakea erikseen raportista tai sen koneluettavista XBRL-tiedoista. Lisäksi he aikovat tarkistaa, että muistiinpanot koskevat kysyttyä yhtiötä, lähde tukee virkettä ja kysymyksen kaikkiin osiin vastataan. Nämä ovat vasta suunnitelmia, ja prototyypin agentit käyttävät vielä osin esimerkkiaineistoa.

Tutkijoiden mukaan koodi ja arviointiaineisto ovat GitHub-repositoriossa SJSU-CMPE259/AI-Stock-Research-and-Earnings-Assistant.

Ilmoita virheestä tässä jutussa