Asteromorph släpper 4B-reranker med öppna vikter för vetenskaplig sökning
AsteroRank-Lepton rangordnar om sökresultat. Utöver nyckelorden läser modellen en beskrivning på några meningar av vad sökagenten letar efter. Jämförelseresultaten är företagets egna, och de starkare modellerna blir tillgängliga senare via ett API.
Asteromorph presenterade den 6 november tre modeller som rangordnar om sökresultat. Det skedde i företagets blogg och på modellsidan på Hugging Face. Nedladdningsbara vikter släppte företaget bara för AsteroRank-Lepton, som det beskriver som den lättaste modellen. De starkare AsteroRank-Drachma och AsteroRank-Talent blir enligt företaget tillgängliga via ett API, och det går att anmäla sig till en väntelista för dem.
En reranker poängsätter de dokument som den första sökningen hittat och lyfter de mest relevanta till toppen. Lepton ger varje dokument en poäng mellan noll och ett. Modellen är finjusterad från Qwen3.5-4B. Företaget beskriver den som en modell med fyra miljarder parametrar, men Hugging Face anger storleken till 5 miljarder parametrar.
Beskrivningen anger vad sökningen gäller
Asteromorph kallar sin metod context reranking. Sökagenten skickar en kort nyckelordsfråga och dessutom en beskrivning på 1–3 meningar av den artikel den letar efter. Beskrivningen anger vilket system som studeras, mekanismen, de väsentliga förhållandena och vilken typ av belägg som behövs. Avgränsningar för datum och källa hanterar företaget med separata filter.
I företagets exempel söks para-selektiv borylering. Om beskrivningen bara upprepar frågan innehåller en artikel som når samma resultat på ett annat sätt nästan alla samma sökord och kan få lika bra poäng.
Liknande indata går också att ge rerankrar som följer instruktioner. Enligt företaget ligger skillnaden i användningen: en instruktion ändrar uppgiften, medan kontexten anger syftet med sökningen. I Asteromorphs egen användning förbättrades resultaten mer av att sökavsikten angavs än av om indata formulerades som instruktion eller beskrivning. Några siffror på detta redovisar företaget inte.
Företagets egna jämförelser
Asteromorph testade själv sina modeller på offentliga kandidatlistor. Måttet var nDCG@10, som belönar att relevanta dokument placeras högt bland de tio första. Jämförelsemodeller var zerank-2, Voyage rerank-3 och Voyage rerank-3-lite. I testerna BRIGHT och BEIR-Science fick modellerna ingen kontext.
I BRIGHT fick Talent 32,30 poäng och den starkaste jämförelsemodellen, zerank-2, 30,65. Även Drachma och Lepton fick högre poäng än zerank-2, uppger företaget. I BEIR-Science skilde sig de sex modellernas resultat åt med högst 1,0 poäng.
Tabellen visar resultaten i MAIR. Där har varje fråga en uppgiftsinstruktion, och företaget gav den till AsteroRank som kontext. I det här testet hamnade Lepton efter Voyages lättare modell. Företaget viktade frågorna annorlunda än det offentliga utvärderingsprogrammet, så medelvärdena motsvarar inte en direkt upprepning av testet.
| Modell | MAIR, nDCG@10 |
|---|---|
| AsteroRank-Talent | 64,34 |
| Voyage rerank-3 | 62,87 |
| AsteroRank-Drachma | 61,71 |
| Voyage rerank-3-lite | 61,08 |
| AsteroRank-Lepton | 60,68 |
Källa: Asteromorphs blogg. Företagets egen mätning, 126 uppgifter från sex områden.
I måttet RCP-nDCG, som Cohere har utvecklat, bedömer en stor språkmodell hela kandidatmängden. Med det måttet fick Talent i BRIGHT 5,02 poäng och Drachma 1,67 poäng mer än Coheres Rerank 5 Pro. Cohere har själv publicerat siffrorna för Rerank 5 Pro med en decimal.
Licensen tillåter bara icke-kommersiell användning
Lepton är släppt under licensen CC BY-NC 4.0, som inte tillåter kommersiell användning. Modellsidan har instruktioner för SGLang och vLLM, testade på en enda Nvidia B200-GPU, samt instruktioner för Sentence Transformers. Sidan varnar för att schemaläggaren i SGLang version 0.5.20 kraschar om en förfrågan om omrangordning hamnar i samma batch som till exempel en chattförfrågan. Felet var fortfarande inte åtgärdat i version 0.5.22. Det är därför klokt att bara skicka förfrågningar om omrangordning till servern.
Läs mer: Hur en agent fungerar · Agentkarta