Filevine, ett teknikföretag inom juridikbranschen, beskrev den 9 november i ett blogginlägg hur dess AI-verktyg hittar de mest relevanta avsnitten i dokument som en språkmodell sedan ska använda. Många AI-tillämpningar lyckas eller misslyckas just på grund av sökningen, skriver inläggets författare Jakub Žovák.

Utgångspunkten är RAG, alltså textgenerering baserad på sökning. En inbäddningsmodell omvandlar dokumenten till vektorer, det vill säga talföljder, så att texter med liknande betydelse får vektorer som ligger nära varandra. De texter som ligger närmast frågan hämtas ur en vektordatabas, och en starkare modell poängsätter kandidaterna på nytt.

Filevine ser hybridsökning som branschens etablerade lösning. Där körs en exakt nyckelordssökning parallellt med vektorsökningen. Resultaten slås samman med metoden RRF (reciprocal rank fusion), som lyfter dokument som rankas högt i båda sökningarna.

Enligt företaget är hybridsökning en bra grundnivå men räcker inte för juridikens krav. Blogginlägget innehåller inga mätresultat, så påståendet att de egna metoderna är bättre förblir företagets eget.

Metadata blir en del av vektorn

Juridiska dokument har metadata, till exempel domstolsinstans och antal hänvisningar. I många AI-system kan metadata användas som ett absolut filter. Filevine uppger att det stöder flexibel filtrering där man kan uttrycka en preferens: helst ett dokument från en appellationsdomstol eller högre instans.

Den enklaste metoden är att sortera om resultaten från likhetssökningen efter metadata. Det stöds till exempel av Zilliz vektordatabas. Metoden slår fel om sökningen bara returnerar dokument från underrätter, skriver bloggen. Då blir inga önskade resultat kvar.

Filevine uppger att det kan bädda in metadata direkt i vektorerna med specialiserade modeller och vikta den vid sökningen. I ett exempel i en fotnot i blogginlägget väger textlikheten och dokumentets metadatavärde hälften var. Som bakgrund till metoden nämner företaget publikationen Utilizing Metadata for Better Retrieval-Augmented Generation.

Synonymer och jämförelse på tokennivå

Traditionell nyckelordssökning känner enligt bloggen inte igen synonymer eller homonymer och snubblar på juridiska termer. Som lösning uppger Filevine att det kan använda learned sparse retrieval, inlärd gles sökning. Där viktar modellen orden efter hur viktiga de är i sammanhanget och lägger till närliggande ord som saknas i texten. Färdiga modeller av typen SPLADE är generella, men företaget har egna modeller finjusterade för juridik.

En vanlig inbäddningsmodell komprimerar ett textavsnitt till en enda vektor genom att beräkna medelvärdet av tokenvektorerna, och då går en del av informationen förlorad. ColBERT-metoden behåller en egen vektor för varje token. För varje token i frågan letar den upp det token i dokumentet som matchar bäst och summerar likheterna mellan dessa matchningar. Sökningen blir därmed typiskt sett mer uttrycksfull, skriver bloggen. Det går också att se vilken del av frågan som träffade vilket ställe.

Flervektorsökning har främst använts för omrankning, eftersom den har större fördröjning än sökning med en enda vektor. Googles Muvera-index tar bort fördröjningsproblemet, uppger Filevine. Företaget säger att det kan använda flervektorrepresentation både för sökning och för omrankning.

Blogginlägget avslutas med en uppmaning att prova företagets juridiska AI LOIS. Den kostnadsfria provperioden kräver inget kreditkort, enligt företagets webbplats.