Metan Muse Ember sai Haiku 5.5:n indeksiluvun, mutta testitehtävä maksoi kolmasosan
Tekoälyn kirjoittama
Artificial Analysisin mittauksessa Metan agenttien rutiinitöihin tekemä Muse Ember sai saman indeksiluvun kuin Claude Haiku 5.5 suurimmalla päättelytasolla kolmasosalla tehtäväkohtaisesta kulusta. Enintään 200 000 tokenin kehotteissa miljoona syötetokenia maksaa 0,10 $ ja tulostetokenia 0,50 $.
Meta Superintelligence Labs julkaisi Muse Emberin 9. marraskuuta. Yhtiön mukaan malli on tehty työkalukutsuihin, koodauksen osatehtäviin, pyyntöjen reititykseen, tietojen poimintaan ja pitkien asiakirjojen käsittelyyn.
Meta ehdottaa työnjakoa, jossa isompi Muse Wonder suunnittelee ja Ember hoitaa suuren määrän toistuvia vaiheita. Ember käsittelee tekstiä, kuvia, ääntä ja videota. Sen konteksti-ikkuna on miljoona tokenia.
Riippumaton mittaus: sama indeksi, eri vahvuudet
Artificial Analysisin (AA) julkaiseman kaavion mukaan sen indeksi kootaan yhdeksästä vertailutestistä. AA laskee myös, paljonko yksi testitehtävä maksaa mallin listahinnoilla. Taulukko vertaa Emberiä Anthropicin Claude Haiku 5.5:een ja Metan isompiin malleihin.
| Malli (päättelytaso) | Indeksi | Kustannus/tehtävä |
|---|---|---|
| Muse Ember (max) | 36 | 0,14 $ |
| Muse Ember (xhigh) | 34 | 0,12 $ |
| Claude Haiku 5.5 (max) | 36 | 0,41 $ |
| Muse Spark 1.3 (max) | 37 | 2,39 $ |
| Muse Wonder (max) | 44 | 6,95 $ |
Lähde: Artificial Analysis, Intelligence Index v5. Spark 1.3:n luvut Metan julkaisusta, joka viittaa AA:han.
Sama indeksiluku ei tarkoita samaa osaamista, sillä Ember ja Haiku menestyvät eri osatesteissä. AA:n mukaan Emberin tokenien hinnat ovat samat kuin Haiku 5.5:llä ja OpenAI:n GPT-6 Lunalla. TechCrunch on eri mieltä: sen mukaan Ember on syötetokenien hinnaltaan niitä selvästi halvempi.
AA:n koodausmittauksissa Ember voitti Haikun Terminal-Bench 4.0:ssa (40,9 % vs. 32,8 %) mutta hävisi FrontierCode 2.0:ssa (27,2 % vs. 34,9 %). Metan taulukossa Haikun Terminal-Bench-tulos on 39,2 %. Meta testasi kunkin mallin sen parhaassa julkaistussa harnessissa, Haikun Claude Codessa. Harness on agenttia ohjaava ohjelma, joka antaa mallille työkalut ja ajaa sen työvaiheet.
AA:n koodausagentti-indeksissä Ember sai Metan Muse Code -koodausagentissa 46 pistettä, Haiku Claude Codessa 37 ja Luna Codexissa 31.
Liiketoimintaprosessien automaatiota mittaavassa AutomationBench-AA:ssa lähteiden luvut eroavat. Metan julkaisussa, joka merkitsee lähteeksi AA:n, Ember saa 37,8 % tiukalla pass@1-pisteytyksellä: tehtävä lasketaan onnistuneeksi vain ensimmäisen yrityksen perusteella. AA:n omassa tiedotteessa tulos on 68,1 % eli sama kuin Muse Wonderilla. Eroa ei selitetä.
AA:n mukaan tietämys on Emberin heikkous. AA-Omniscience-testissä se vastasi oikein 21,1 %:iin kysymyksistä, Haiku 34,7 %:iin. AA:n mukaan syy on pääosin se, että Ember jätti vastaamatta 64 %:iin kysymyksistä. Siksi sen hallusinaatioaste jäi 17,4 %:iin eli puoleen Haikun luvusta.
Metan omissa arvioissa Ember oli Haikua ja Lunaa edellä esimerkiksi Agents' Last Examissa ja OSWorld 2.1:ssä.
Hinta ja saatavuus
Ember on saatavilla nimellä muse-ember-1.0 Meta Model API:ssa ja Muse Codessa. Enintään 200 000 tokenin kehotteissa miljoona syötetokenia maksaa 0,10 $, välimuistista luettu syöte 0,004 $ ja miljoona tulostetokenia 0,50 $. Pidemmissä kehotteissa hinnat ovat kolminkertaiset. Metan mukaan malli on saatavilla myös Google Cloudissa ja Oracle Cloudissa.
Lue lisää: Mallit