MetaEncoder v1:n mallikortti eli mallin käyttöohje ilmestyi 12. marraskuuta Hugging Facen repositorioon facebook/meta-encoder-v1. Tekoälyjulkaisuja listaava The Deploy Log nimeää julkaisijaksi Metan. Se viittaa samaan Hugging Face -sivuun eikä esitä omaa tietoa.

Ohje muuttaa upotuksen

Upotus on lukujono, joka kuvaa sisällön merkitystä. Samankaltaiset tekstit tai kuvat saavat toisiaan lähellä olevat lukujonot, joten niitä voi hakea, verrata ja ryhmitellä. MetaEncoder tuottaa jokaisesta syötteestä 6 656 luvun vektorin. Syöte voi olla tekstiä, kuva, videon ruutuja tai näiden yhdistelmä.

Mallikortin mukaan sama syöte saa eri ohjeella eri upotuksen. Ohje voi olla esimerkiksi ”Represent the given image.” tai ”Find a document image that matches the given query.” Hakukyselyt ja haettavat asiakirjat saavat yleensä eri ohjeet.

Mallin mukana tulevassa Python-koodissa on kolme pääkutsua: encode tuottaa upotukset, retrieve järjestää aineiston kyselyn mukaan ja decide vastaa kysymyksiin annetusta tilanteesta. Koodi muotoilee kehotteet itse samaan muotoon kuin koulutuksessa.

Päätökset valitaan vaihtoehdoista

Decide ratkaisee hakuna kyllä/ei-kysymyksiä, monivalintoja ja asteikkokysymyksiä. Jokainen vaihtoehto upotetaan. Pisteet riippuvat siitä, kuinka lähellä vaihtoehdon upotus on kysymyksen upotusta. Monivalinnassa voi olla 2–26 vaihtoehtoa. Kukin kysymys ratkaistaan muista riippumatta.

Vastausten todennäköisyydet lasketaan oletuksena koulutuksessa käytetyllä lämpötilalla 0,02. Jos käyttäjällä on valmiiksi merkittyjä esimerkkejä, hän voi sovittaa lämpötilan omaan aineistoonsa calibrate-funktiolla. Vaihtoehdoille voi antaa kuvaukset, mutta kortin mukaan näiden kysymystyyppien koulutusaineistossa oli vain vaihtoehtojen nimet.

Vaatimukset ja avoimet kysymykset

Mallikortissa ei ole vertailutestien tuloksia tekstinä, vain benchmarks.png-niminen kuva. Korttia muokattiin julkaisupäivänä useita kertoja muutaman tunnin aikana. Muutoshistorian mukaan metatietojen rivi ”license: apache-2.0” korvattiin muilla tiedoilla, eikä kortin teksti mainitse lisenssiä. Käyttöehdot kannattaa siis tarkistaa repositoriosta ennen käyttöä.

Malli käsittelee kuvat alkuperäisellä tarkkuudella enintään 4 096 tokeniin asti. Jos videossa on yli kahdeksan ruutua, siitä poimitaan tasaisin välein kahdeksan. Syötteitä ei katkaista, mutta koulutuksessa sekvenssit olivat enintään 16 384 tokenin mittaisia.

Malli ladataan Hugging Facesta, ja se vaatii transformers-kirjaston version 5.15 tai uudemman. Mallikortin mukaan malli mahtuu bf16-tarkkuudella yhdelle 80 gigatavun GPU:lle. Kortissa on ohje myös mallin käyttämiseen suoraan transformers-kirjaston luokilla.