Lakialan teknologiayhtiö Filevine kuvasi 9. marraskuuta blogissaan, miten sen tekoälytyökalut etsivät asiakirjoista osuvimmat kohdat kielimallin käyttöön. Kirjoittaja Jakub Žovákin mukaan moni tekoälysovellus onnistuu tai epäonnistuu juuri haun vuoksi.

Lähtökohta on RAG eli hakuun perustuva tekstin tuottaminen. Upotusmalli muuttaa asiakirjat vektoreiksi eli lukujonoiksi niin, että merkitykseltään samankaltaisten tekstien vektorit ovat lähellä toisiaan. Kysymystä lähimmät tekstit haetaan vektoritietokannasta, ja vahvempi malli pisteyttää ehdokkaat uudelleen.

Filevine pitää hybridihakua alan vakiintuneena ratkaisuna. Siinä vektorihaun rinnalla ajetaan sanatarkka avainsanahaku. Tulokset yhdistetään RRF-menetelmällä (reciprocal rank fusion), joka nostaa kummassakin haussa korkealle sijoittuneita asiakirjoja.

Yhtiön mukaan hybridihaku on hyvä perustaso mutta ei riitä lakialan vaatimuksiin. Blogissa ei ole mittaustuloksia, joten omien menetelmien paremmuus jää yhtiön väitteeksi.

Metatieto osaksi vektoria

Juridisiin asiakirjoihin liittyy metatietoja, kuten tuomioistuimen aste ja viittausten määrä. Monessa tekoälyjärjestelmässä metatietoa voi käyttää ehdottomana suodattimena. Filevine kertoo tukevansa joustavaa suodatusta, jolla voi ilmaista toiveen: asiakirja mieluiten muutoksenhakutuomioistuimesta tai ylemmästä.

Yksinkertaisin keino on järjestää samankaltaisuushaun tulokset uudelleen metatiedon mukaan. Sitä tukee esimerkiksi Zillizin vektoritietokanta. Blogin mukaan keino pettää, jos haku palauttaa pelkkiä alioikeuksien asiakirjoja. Silloin toivottuja tuloksia ei jää yhtään.

Filevine kertoo pystyvänsä upottamaan metatiedon suoraan vektoreihin erikoistuneilla malleilla ja painottamaan sitä hakuhetkellä. Blogin alaviitteen esimerkissä tekstin samankaltaisuus ja asiakirjan metatietoarvo painavat kumpikin puolet. Menetelmän taustaksi yhtiö mainitsee julkaisun Utilizing Metadata for Better Retrieval-Augmented Generation.

Synonyymit ja token-tason vertailu

Perinteinen avainsanahaku ei blogin mukaan tunnista synonyymejä tai homonyymejä ja kompastuu lakitermeihin. Korjaukseksi Filevine kertoo voivansa käyttää opittua harvaa hakua (learned sparse retrieval). Siinä malli painottaa sanoja niiden tärkeyden mukaan asiayhteydessä ja lisää hakuun tekstistä puuttuvia lähisanoja. SPLADE:n kaltaiset valmiit mallit ovat yleiskäyttöisiä, mutta yhtiöllä on omat lakialalle hienosäädetyt mallinsa.

Tavallinen upotusmalli tiivistää tekstikatkelman yhdeksi vektoriksi laskemalla keskiarvon token-kohtaisista vektoreista, jolloin osa tiedosta katoaa. ColBERT-menetelmä säilyttää jokaisen tokenin oman vektorin. Se etsii jokaiselle kysymyksen tokenille asiakirjasta parhaiten vastaavan tokenin ja laskee näiden vastaavuuksien samankaltaisuudet yhteen. Blogin mukaan haku on näin tyypillisesti ilmaisuvoimaisempi. Siitä myös näkee, mikä kysymyksen osa osui mihinkin kohtaan.

Monivektorihakua on käytetty lähinnä uudelleenjärjestämiseen, koska sen viive on suurempi kuin yhden vektorin haun. Filevinen mukaan Googlen Muvera-indeksi poistaa viiveongelman. Yhtiö kertoo voivansa käyttää monivektoriesitystä sekä hakuun että uudelleenjärjestämiseen.

Blogi päättyy kehotukseen kokeilla yhtiön lakialan tekoälyä LOISia. Ilmainen kokeilu ei yhtiön sivun mukaan vaadi luottokorttia.