OpenRouterin testi: Voyagen malli nosti ensimmäisen osuman tarkkuuden 81 %:sta 97 %:iin
OpenRouterin omassa, pienellä synteettisellä aineistolla tehdyssä testissä pelkkä vektorihaku nosti oikean tekstinpätkän ensimmäiseksi 81 %:ssa kysymyksistä. Kun voyageai/rerank-3-lite järjesti 30 ehdokasta uudelleen, osuus nousi 97 %:iin noin 0,10 dollarilla tuhatta kyselyä kohden.
OpenRouter julkaisi 13. marraskuuta blogissaan vertailun uudelleenjärjestyksestä RAG-sovelluksissa. RAG-sovellus hakee omista dokumenteista tekstinpätkiä ja antaa ne suurelle kielimallille vastauksen pohjaksi. Yhtiö vertasi 11:tä uudelleenjärjestysmallia (reranker) sekä niiden viivettä ja hintaa.
Miksi vektorihaku erehtyy
Vektorihaku tiivistää jokaisen pätkän yhdeksi vektoriksi jo ennen kuin kysymys tunnetaan. OpenRouterin mukaan 130 sanan pätkässä palvelutason nimi on vain sana tai kaksi, joten eri tasojen rajoituksia kuvaavat pätkät näyttävät haulle lähes samoilta. Kun testissä kysyttiin Growth-tason säilörajaa, google/gemini-embedding-2 nosti kärkeen Starter-, Enterprise- ja Scale-tasojen pätkät. Oikea oli vasta viides.
Uudelleenjärjestysmalli lukee kysymyksen ja kunkin ehdokkaan yhdessä ja pisteyttää ehdokkaat uudelleen. Koko aineistolle se on liian hidas, joten vektorihaku rajaa ehdokkaat ensin. OpenRouter suosittelee hakemaan noin 30 ehdokasta ja antamaan kielimallille kolme parasta.
Testiaineistossa oli 274 mallin tuottamaa pätkää ja kysymystä kuvitteellisesta Fernbank-tallennuspalvelusta. Jokaisella kysymyksellä oli yksi oikea pätkä, joten tulos laskettiin automaattisesti. Yhtiö varoittaa, että aineisto on pieni ja synteettinen ja hyöty voi todellisilla dokumenteilla olla erilainen.
Tulokset ja hinnat
Kaikki mallit järjestivät samat 30 gemini-embedding-2:n hakemaa ehdokasta. Taulukko näyttää, kuinka usein oikea pätkä nousi ensimmäiseksi (precision@1).
| Malli | Oikea ensimmäisenä | Viive, mediaani (s) | Hinta / 1 000 kyselyä |
|---|---|---|---|
| Ei uudelleenjärjestystä | 81,0 % | – | – |
| voyageai/rerank-3 | 97,8 % | 1,27 | 0,26 $ |
| voyageai/rerank-3-lite | 97,1 % | 1,26 | 0,10 $ |
| cohere/rerank-4-pro | 95,3 % | 1,54 | 2,50 $ |
| qwen/qwen3-reranker-8b | 92,3 % | 1,51 | 1,49 $ |
| cohere/rerank-v3.5 | 90,5 % | 1,47 | 1,00 $ |
| openai/gpt-6-luna (kielimalli) | 99,6 % | 4,01 | 0,70 $ |
| google/gemini-3.8-flash (kielimalli) | 100 % | 3,25 | 4,14 $ |
OpenRouterin ajo 8.10.2026, 274 kysymystä, valikoima 11 mallista. Viiveestä noin 0,9 s on testikoneen verkkoviivettä.
Voyagen mallien ero on vain kaksi kysymystä, eikä se OpenRouterin mukaan osoita kalliimman mallin olevan parempi. Kielimallit lukivat kaikki 30 pätkää kerralla ja olivat tarkimpia. Niiden mediaaniviive oli 3,3–4,4 sekuntia, uudelleenjärjestysmalleilla noin 1,3. Yhtiön mukaan ei ole varmaa, että etu säilyy sotkuisemmassa aineistossa.
Kun anthropic/claude-haiku-5.5 sai kolme uudelleenjärjestettyä pätkää, 99,3 % sen vastauksista oli oikein. Kolmella pätkällä ilman uudelleenjärjestystä osuus oli 95,6 %. Viiteen pätkään ilman uudelleenjärjestystä verrattuna kokonaiskustannus nousi nettona 0,04 dollaria tuhatta kysymystä kohden. Uudelleenjärjestys maksoi 0,10 dollaria, mutta kielimallin vastauskulut laskivat 0,22 dollarista 0,16 dollariin, kun sille lähti viiden pätkän sijaan kolme.
Rajat
Uudelleenjärjestys voi nostaa vain ehdokkaan, jonka vektorihaku on löytänyt. Kun voyageai/voyage-4-lite-mallin hakemia ehdokkaita oli 30:n sijaan 50, tulos parani yhden kysymyksen verran. Aiheeseen sopiva pätkä ei myöskään aina ole oikea: blogin kuuden pätkän esimerkissä vastaamaton foorumikysymys nousi toiseksi.
cohere/rerank-v3.5 lukee dokumentista vain 4 096 ensimmäistä tokenia eikä varoita katkaisusta. Kun upotusmallin kutsusta puuttui input_type-parametri, tulos heikkeni 7–12 prosenttiyksikköä.
Uudelleenjärjestysmalleja käytetään OpenRouterin /rerank-rajapinnan kautta; kielimallit eivät toimi siinä. Voyage ja Qwen laskuttavat tokenien mukaan, Cohere hakukerroittain. Dokumentaation RAG-oppaan esimerkkikoodi poikkeaa testistä: se käyttää cohere/rerank-v3.5:tä, ei aseta input_type-parametria ja suosittelee 10–20 ehdokasta.