AI Aulis

AI-NYHETER PÅ SVENSKA · 14 november 2026

De viktigaste AI-nyheterna varje morgon. AI skriver och granskar artiklarna mot originalkällorna – kontrollera viktiga uppgifter i källorna.

← Numret 14 november 2026Tidningen

LlamaIndex ParseBench-2 poängsätter fel i pdf-tolkning efter allvarlighetsgrad

AI-genererat innehållSkriven av AI

github.com, huggingface.co, x.com · 4 källor · Källornas publiceringsdatum: 11–14 november 2026 · Publiceringstidpunkten är okänd för vissa källor

LlamaIndex nya benchmark mäter hur väl verktyg omvandlar pdf-filer för AI-agenter. Ett enda allvarligt fel kan sätta tak för poängen på en hel sida. Listan som företaget själv publicerat leds av dess egen LlamaParse.

LlamaIndex publicerade benchmarket ParseBench-2 på Hugging Face den 11 november. Företagets Jerry Liu presenterade det på X två dagar senare. Benchmarket innehåller 4 317 testfall på sidnivå från 2 645 dokument. Den förra versionen hade omkring 2 000 sidor.

Benchmarket mäter dokumenttolkning, alltså hur väl ett verktyg omvandlar en pdf-sida till strukturerad text. En AI-agent kan sedan arbeta utifrån texten. Benchmarket har sex dimensioner: text, formatering, tabeller, diagram, layout (var innehållet finns på sidan) och den nya dimensionen formulär. Formulärsidorna är 600.

Allvarliga fel sätter tak för sidans poäng

En sidas poäng blir det lägre av två värden. Det ena mäter hur stor del av innehållet verktyget fick med, och det andra är ett tak som bestäms av felets allvarlighet. Ett allvarligt fel sänker alltså poängen även om resten av sidan är nästan rätt. Till sådana fel hör en ändrad siffra, en negation som vänts till sin motsats, tabellrubriker som bytt plats och ett feltolkat värde i ett formulär. Om samma uppgift återges i ett annat format som stöds, dras inga poäng av.

Enligt LlamaIndex har måtten kalibrerats med 330 kontrollerade testscenarier. Varje scenario har ett målvärde för poängfallet, från kritiskt till ofarligt. Måtten känner igen fler än 140 feltyper. Som standard bedömer poängsättaren med hjälp av regler och använder inte en språkmodell som bedömare. Användaren kan anpassa felens allvarlighetsgrader efter egna behov, säger Liu.

Totalpoängen är ett oviktat medelvärde av de sex dimensionerna. Liu uppmanar själv till försiktighet med den, eftersom de väsentliga skillnaderna enligt Liu syns i de enskilda dimensionerna.

LlamaParse leder företagets egen lista

Tabellen visar de sex främsta placeringarna på LlamaIndex lista på GitHub. Resultaten har mätts av företaget som tagit fram benchmarket, och i topp ligger dess egen LlamaParse.

Verktyg Totalpoäng Tabeller Diagram Formulär Pris/sida
LlamaParse (Agentic Plus) 90,07 94,61 92,58 81,76 2,81 ¢
LlamaParse (Agentic) 86,05 89,86 77,39 80,94 1,25 ¢
Claude Opus 5.5 85,73 94,11 74,12 77,84 6,49 ¢
Reducto (r-1) 85,23 90,93 78,45 78,31 1,00 ¢
LlamaParse (Cost Effective) 84,59 87,19 73,07 81,21 0,38 ¢
Gemini 4 argon (low) 84,20 92,78 68,20 77,19 2,68 ¢

Källa: listan ParseBench 2 i kodförrådet ParseBench. Poängen anges på skalan 0–100 och priset i cent per sida. Listan omfattar bara system som har poängsatts i alla sex dimensioner.

Poängen går inte att jämföra med poängen i den första versionen av ParseBench. Liu påpekar att LlamaParse inte är bäst i alla dimensioner i förhållande till priset. Claude Opus 5.5 är till exempel bra på tabeller men svag på diagram, och Extend presterar bra på formulär, säger Liu.

Den 13 november publicerades en korrigerad version av datamängden, v2.01, där facit för åtta sidor ändrades. Förvaltarna råder användare att jämföra resultat som beräknats med samma version av datamängden och poängsättaren. Liu har enligt egen uppgift fått återkoppling på facit och måtten och lovar nya versioner snart. En preliminär version av den tekniska rapporten finns som pdf-fil, och rapporten ska publiceras på arXiv.

Datamängden finns på Hugging Face under licensen Apache 2.0, och poängsättarna ingår i det öppna paketet parse-bench. För att utvärdera en kommersiell tjänst krävs tjänstens API-nyckel. ParseBench 2 körs med flaggan --dataset parsebench-2; utan den kör kommandot den första versionen.

Anmäl ett fel i artikeln