Asteromorph julkaisi avointen painojen 4B-uudelleenjärjestäjän tieteelliseen hakuun
AsteroRank-Lepton järjestää hakutulokset uudelleen ja lukee avainsanojen lisäksi muutaman virkkeen kuvauksen siitä, mitä hakuagentti etsii. Vertailutulokset ovat yhtiön omia, ja vahvemmat mallit tulevat myöhemmin rajapinnan kautta.
Asteromorph kertoi 6. marraskuuta blogissaan ja Hugging Facen mallisivulla kolmesta mallista, jotka järjestävät hakutuloksia uudelleen. Ladattavat painot yhtiö julkaisi vain kevyimmäksi kuvaamastaan mallista, AsteroRank-Leptonista. Vahvemmat AsteroRank-Drachma ja AsteroRank-Talent tulevat yhtiön mukaan saataville rajapinnan kautta, ja niiden jonotuslistalle voi ilmoittautua.
Uudelleenjärjestäjä pisteyttää ensimmäisen haun löytämät dokumentit ja nostaa osuvimmat kärkeen. Lepton antaa kullekin dokumentille pisteen nollan ja yhden väliltä. Malli on hienosäädetty Qwen3.5-4B-mallista. Yhtiö kuvaa sitä neljän miljardin parametrin malliksi, mutta Hugging Face ilmoittaa sen kooksi 5 miljardia parametria.
Kuvaus kertoo, mitä haulla etsitään
Asteromorph kutsuu menetelmäänsä kontekstiuudelleenjärjestykseksi (context reranking). Hakuagentti lähettää lyhyen avainsanakyselyn ja lisäksi 1–3 virkkeen kuvauksen artikkelista, jota se etsii. Kuvaus nimeää tutkittavan järjestelmän, mekanismin, olennaiset olosuhteet ja tarvittavan näytön tyypin. Päivämäärää ja lähdettä koskevat rajaukset yhtiö hoitaa erillisillä suodattimilla.
Yhtiön esimerkissä haetaan para-selektiivistä borylaatiota. Jos kuvaus vain toistaa kyselyn, samaan tulokseen toisella keinolla päätyvä artikkeli sisältää lähes kaikki samat hakusanat ja voi saada yhtä hyvät pisteet.
Samanlaisen syötteen voi antaa myös ohjeita noudattaville uudelleenjärjestäjille. Yhtiön mukaan ero on käyttötavassa: ohje muuttaa tehtävää, kun taas konteksti kertoo haun tarkoituksen. Asteromorphin omassa käytössä tuloksia paransi enemmän hakuaikeen kertominen kuin syötteen muotoilu ohjeeksi tai kuvaukseksi. Lukuja yhtiö ei tästä esitä.
Yhtiön omat vertailut
Asteromorph testasi mallinsa itse julkisilla ehdokaslistoilla. Mittarina oli nDCG@10. Se palkitsee osuvien dokumenttien sijoittamisesta korkealle kymmenen kärjessä. Vertailukohtina olivat zerank-2, Voyage rerank-3 ja Voyage rerank-3-lite. BRIGHT- ja BEIR-Science-testeissä malleille ei annettu kontekstia.
BRIGHT-testissä Talent sai 32,30 pistettä ja vahvin vertailumalli zerank-2 30,65. Yhtiön mukaan myös Drachma ja Lepton saivat enemmän kuin zerank-2. BEIR-Science-testissä kaikkien kuuden mallin tulokset erosivat toisistaan enintään 1,0 pistettä.
Taulukossa ovat MAIR-testin tulokset. MAIRissa jokaisella kyselyllä on tehtäväohje, ja yhtiö antoi sen AsteroRankille kontekstina. Lepton jäi tässä testissä Voyagen kevyemmän mallin taakse. Yhtiö painotti kyselyjä eri tavalla kuin julkinen arviointiohjelma, joten keskiarvot eivät vastaa testin suoraa toistoa.
| Malli | MAIR, nDCG@10 |
|---|---|
| AsteroRank-Talent | 64,34 |
| Voyage rerank-3 | 62,87 |
| AsteroRank-Drachma | 61,71 |
| Voyage rerank-3-lite | 61,08 |
| AsteroRank-Lepton | 60,68 |
Lähde: Asteromorphin blogi. Yhtiön oma mittaus, 126 tehtävää kuudelta alalta.
Cohere’n kehittämässä RCP-nDCG-mittarissa suuri kielimalli arvioi koko ehdokasjoukon. Tällä mittarilla Talent sai BRIGHT-testissä 5,02 ja Drachma 1,67 pistettä enemmän kuin Cohere’n Rerank 5 Pro. Cohere on julkaissut Rerank 5 Pron luvut itse yhden desimaalin tarkkuudella.
Lisenssi sallii vain ei-kaupallisen käytön
Lepton on julkaistu CC BY-NC 4.0 -lisenssillä, joka ei salli kaupallista käyttöä. Mallisivulla on yhdellä Nvidia B200 -GPU:lla testatut ohjeet SGLangille ja vLLM:lle sekä ohjeet Sentence Transformersille. Sivu varoittaa, että SGLangin versiossa 0.5.20 ajoitin kaatuu, jos uudelleenjärjestyspyyntö osuu samaan erään esimerkiksi chat-pyynnön kanssa; vika oli yhä korjaamatta versiossa 0.5.22. Palvelimelle kannattaa siksi ohjata vain uudelleenjärjestyspyyntöjä.
Lue lisää: Mallit