Metas Muse Ember fick samma indexvärde som Haiku 5.5 men kostade en tredjedel så mycket per testuppgift
Skriven av AI
Muse Ember fick samma indexvärde som Claude Haiku 5.5 på högsta resonemangsnivå i Artificial Analysis mätning, till en tredjedel av kostnaden per uppgift. Meta har byggt modellen för rutinarbete åt agenter. För en prompt på högst 200 000 token kostar en miljon indatatoken 0,10 dollar och en miljon utdatatoken 0,50 dollar.
Meta Superintelligence Labs släppte Muse Ember den 9 november. Enligt företaget är modellen byggd för verktygsanrop, delmoment i kodning, routning av förfrågningar, informationsextraktion och hantering av långa dokument.
Meta föreslår en arbetsfördelning där den större Muse Wonder planerar och Ember sköter en stor mängd återkommande steg. Ember hanterar text, bild, ljud och video. Kontextfönstret är en miljon token.
Oberoende mätning: Samma index, olika styrkor
Indexet från Artificial Analysis (AA) bygger på nio benchmarkar, enligt ett diagram som AA har publicerat. AA beräknar också vad en testuppgift kostar till modellens listpriser. Tabellen jämför Ember med Anthropics Claude Haiku 5.5 och Metas större modeller.
| Modell (resonemangsnivå) | Index | Kostnad/uppgift |
|---|---|---|
| Muse Ember (max) | 36 | 0,14 dollar |
| Muse Ember (xhigh) | 34 | 0,12 dollar |
| Claude Haiku 5.5 (max) | 36 | 0,41 dollar |
| Muse Spark 1.3 (max) | 37 | 2,39 dollar |
| Muse Wonder (max) | 44 | 6,95 dollar |
Källa: Artificial Analysis, Intelligence Index v5. Siffrorna för Spark 1.3 kommer från Metas publicering, som hänvisar till AA.
Samma indexvärde betyder inte samma förmåga, eftersom Ember och Haiku är starka på olika delprov. Enligt AA har Ember samma tokenpriser som Haiku 5.5 och OpenAI:s GPT-6 Luna. TechCrunch är av annan uppfattning och skriver att Ember har klart lägre pris per indatatoken än de två.
I AA:s kodningsmätningar slog Ember Haiku i Terminal-Bench 4.0 (40,9 mot 32,8 procent) men förlorade i FrontierCode 2.0 (27,2 mot 34,9 procent). I Metas tabell är Haikus resultat i Terminal-Bench 39,2 procent. Meta testade varje modell i dess bästa publicerade harness, Haiku i Claude Code. En harness är det program som styr agenten, ger modellen verktyg och kör dess arbetssteg.
I AA:s index för kodningsagenter fick Ember 46 poäng i Metas kodningsagent Muse Code, Haiku 37 i Claude Code och Luna 31 i Codex.
I AutomationBench-AA, som mäter automatisering av affärsprocesser, skiljer sig källornas siffror åt. I Metas publicering, som anger AA som källa, får Ember 37,8 procent med strikt pass@1-poängsättning: en uppgift räknas som lyckad bara utifrån första försöket. I AA:s eget pressmeddelande är resultatet 68,1 procent, samma som för Muse Wonder. Skillnaden förklaras inte.
Kunskap är Embers svaghet, enligt AA. I testet AA-Omniscience svarade modellen rätt på 21,1 procent av frågorna och Haiku på 34,7 procent. Det beror enligt AA främst på att Ember avstod från att svara på 64 procent av frågorna. Därför stannade dess hallucinationsgrad vid 17,4 procent, hälften av Haikus siffra.
I Metas egna utvärderingar låg Ember före Haiku och Luna i bland annat Agents' Last Exam och OSWorld 2.1.
Pris och tillgänglighet
Ember finns som muse-ember-1.0 i Meta Model API och i Muse Code. För en prompt på högst 200 000 token kostar en miljon indatatoken 0,10 dollar, indata som läses från cache 0,004 dollar och en miljon utdatatoken 0,50 dollar. För längre promptar är priserna tre gånger så höga. Modellen finns också i Google Cloud och Oracle Cloud, uppger Meta.
Läs mer: Modeller