LlamaIndexin ParseBench-2 pisteyttää PDF-jäsennyksen virheet vakavuuden mukaan
LlamaIndexin uusi vertailutesti mittaa, miten hyvin työkalut muuntavat PDF:t tekoälyagenttien käyttöön, ja yksi vakava virhe voi rajata koko sivun pisteet. Yhtiön itse julkaisemaa listaa johtaa sen oma LlamaParse.
LlamaIndex julkaisi ParseBench-2-vertailutestin Hugging Facessa 11. marraskuuta. Yhtiön Jerry Liu esitteli sen X:ssä kaksi päivää myöhemmin. Testissä on 4 317 sivukohtaista testitapausta 2 645 asiakirjasta. Edellisessä versiossa oli noin 2 000 sivua.
Testi mittaa asiakirjajäsennystä eli sitä, kuinka hyvin työkalu muuntaa PDF-sivun rakenteiseksi tekstiksi. Tekoälyagentti voi toimia tämän tekstin pohjalta. Ulottuvuuksia on kuusi: teksti, muotoilu, taulukot, kaaviot, asettelu eli sisällön paikantaminen sivulla sekä uutena lomakkeet. Lomakesivuja on 600.
Vakava virhe rajaa sivun pisteet
Sivun pistemääräksi tulee pienempi kahdesta luvusta. Toinen mittaa, kuinka suuren osan sisällöstä työkalu sai talteen, ja toinen on virheen vakavuuden mukaan määräytyvä katto. Vakava virhe laskee siis pisteitä, vaikka muu sivu olisi lähes oikein. Tällaisia virheitä ovat muuttunut luku, päinvastaiseksi kääntynyt kielto, paikkaa vaihtaneet taulukon otsakkeet ja väärin luettu lomakkeen arvo. Jos sama tieto esitetään toisessa tuetussa muodossa, pisteitä ei vähennetä.
LlamaIndexin mukaan mittarit on viritetty 330 hallitulla testitilanteella. Jokaiselle tilanteelle on asetettu tavoiteltu pistepudotus kriittisestä harmittomaan. Mittarit tunnistavat yli 140 virhetyyppiä. Oletuksena pisteyttäjä arvioi sääntöjen avulla eikä käytä kielimallia arvioijana. Liun mukaan käyttäjä voi säätää virheiden vakavuudet omiin tarpeisiinsa.
Kokonaispiste on kuuden ulottuvuuden painottamaton keskiarvo. Liu itse kehottaa suhtautumaan siihen varauksella, koska hänen mukaansa olennaiset erot näkyvät yksittäisissä ulottuvuuksissa.
LlamaParse johtaa yhtiön omaa listaa
Taulukossa ovat LlamaIndexin GitHub-listan kuusi kärkisijaa. Tulokset ovat testin laatineen yhtiön itse mittaamia, ja kärjessä on sen oma LlamaParse.
| Työkalu | Kokonaispiste | Taulukot | Kaaviot | Lomakkeet | Hinta/sivu |
|---|---|---|---|---|---|
| LlamaParse (Agentic Plus) | 90,07 | 94,61 | 92,58 | 81,76 | 2,81 ¢ |
| LlamaParse (Agentic) | 86,05 | 89,86 | 77,39 | 80,94 | 1,25 ¢ |
| Claude Opus 5.5 | 85,73 | 94,11 | 74,12 | 77,84 | 6,49 ¢ |
| Reducto (r-1) | 85,23 | 90,93 | 78,45 | 78,31 | 1,00 ¢ |
| LlamaParse (Cost Effective) | 84,59 | 87,19 | 73,07 | 81,21 | 0,38 ¢ |
| Gemini 4 argon (low) | 84,20 | 92,78 | 68,20 | 77,19 | 2,68 ¢ |
Lähde: ParseBench-repositorion ParseBench 2 -lista. Pisteet ovat asteikolla 0–100, ja hinta on senttiä sivulta. Listalla ovat vain järjestelmät, jotka on pisteytetty kaikissa kuudessa ulottuvuudessa.
Pisteitä ei voi verrata ParseBenchin ensimmäisen version pisteisiin. Liu huomauttaa, ettei LlamaParse ole hintaansa nähden paras joka ulottuvuudessa. Hänen mukaansa esimerkiksi Claude Opus 5.5 on hyvä taulukoissa mutta heikko kaavioissa, ja Extend pärjää lomakkeissa.
Aineistosta julkaistiin 13. marraskuuta korjattu versio v2.01, jossa muutettiin kahdeksan sivun vastausavaimia. Ylläpitäjät neuvovat vertaamaan tuloksia, jotka on laskettu samalla aineiston ja pisteyttäjän versiolla. Liu kertoo saaneensa palautetta vastausavaimista ja mittareista ja lupaa uusia versioita pian. Teknisestä raportista on julkaistu esiversio PDF-tiedostona, ja raportti on tulossa arXiviin.
Aineisto on Hugging Facessa Apache 2.0 -lisenssillä, ja pisteyttäjät kuuluvat avoimeen parse-bench-pakettiin. Kaupallisen palvelun arviointi vaatii sen API-avaimen. ParseBench 2 ajetaan valitsimella --dataset parsebench-2; ilman sitä komento ajaa ensimmäisen version.