Modellkortet för MetaEncoder v1, alltså modellens bruksanvisning, publicerades den 12 november i kodförrådet facebook/meta-encoder-v1 på Hugging Face. The Deploy Log, som listar AI-lanseringar, anger Meta som utgivare. Sajten hänvisar till samma sida på Hugging Face och lägger inte fram några egna uppgifter.

Instruktionen ändrar inbäddningen

En inbäddning är en talföljd som beskriver innehållets betydelse. Likartade texter eller bilder får talföljder som ligger nära varandra och kan därför sökas fram, jämföras och klustras. MetaEncoder skapar en vektor med 6 656 tal för varje indata. Indata kan vara text, en bild, bildrutor ur en video eller en kombination av dessa.

Enligt modellkortet får samma indata olika inbäddningar med olika instruktioner. En instruktion kan till exempel vara ”Represent the given image.” eller ”Find a document image that matches the given query.” Sökfrågor och de dokument som ska sökas får vanligtvis olika instruktioner.

Python-koden som följer med modellen har tre huvudanrop: encode skapar inbäddningar, retrieve rangordnar materialet efter en fråga och decide besvarar frågor om en given situation. Koden ger själv varje prompt samma format som under träningen.

Beslut väljs bland alternativ

Decide löser ja/nej-frågor, flervalsfrågor och skalfrågor som sökningar. Varje alternativ bäddas in. Poängen beror på hur nära varandra alternativets och frågans inbäddningar ligger. En flervalsfråga kan ha 2–26 alternativ. Varje fråga avgörs oberoende av de andra.

Sannolikheterna för svaren beräknas som standard med temperaturen 0,02, som användes under träningen. En användare som har färdigmärkta exempel kan anpassa temperaturen till sitt eget material med funktionen calibrate. Alternativen kan ges beskrivningar, men enligt kortet innehöll träningsdata för dessa frågetyper bara alternativens namn.

Krav och öppna frågor

Modellkortet innehåller inga resultat från benchmarkar i textform, bara en bild med namnet benchmarks.png. Kortet redigerades flera gånger under några timmar på publiceringsdagen. Enligt ändringshistoriken ersattes metadataraden ”license: apache-2.0” med andra uppgifter, och kortets text nämner ingen licens. Därför är det klokt att kontrollera användningsvillkoren i kodförrådet före användning.

Modellen bearbetar bilder i originalupplösning upp till 4 096 token. Om en video har fler än åtta bildrutor väljs åtta ut med jämna mellanrum. Indata kortas inte av, men under träningen var sekvenserna högst 16 384 token långa.

Modellen laddas ned från Hugging Face och kräver version 5.15 eller senare av biblioteket transformers. Enligt modellkortet ryms modellen med bf16-precision på en enda GPU med 80 gigabyte. Kortet innehåller också anvisningar för att använda modellen direkt med klasserna i transformers.