Bildmodellen H3-Image från MiniMax skapar enligt företaget en bild på 16 megapixlar på under 10 sekunder
MiniMax har släppt modellvikterna för H3-Image, en modell som skapar bilder från text och redigerar dem med hjälp av upp till 16 referensbilder. Enligt företaget skapas en bild på 16 megapixlar på under 10 sekunder, men MiniMax uppger inte på vilken hårdvara tiden mättes.
MiniMax berättade om H3-Image den 10 november i sin blogg och i modellkortet på Hugging Face. Båda källorna är företagets egna och innehåller inga oberoende mätningar. Samma modell skapar bilder utifrån en textbeskrivning och redigerar en eller flera referensbilder.
MiniMax kallar en bild på 4096 × 4096 pixlar för en 4K-bild. Enligt bloggen skapar H3-Image en sådan på under 10 sekunder och upp till fem gånger snabbare än gängse lösningar på marknaden. Bloggen namnger inte jämförelseobjektet och uppger inte på vilken hårdvara tiden mättes. Modellkortet nämner inte tiden alls.
Modellen följer också instruktioner bättre än någon annan modell med öppna vikter, säger företaget. MiniMax redovisar inga benchmarkresultat som stöd för påståendet.
Sex steg från brus till bild
En diffusionsmodell bygger upp en bild ur slumpmässigt brus genom att korrigera det steg för steg. Enligt modellkortet är H3-Image destillerad till sex steg, alltså tränad att skapa en bild med sex körningar av modellen. Modellen körs inte heller två gånger i varje steg, som man vanligen gör vid klassificerarfri vägledning (classifier-free guidance). Stegreduktionen var en del av efterträningen, som även omfattade förstärkningsinlärning och promptutökning, skriver bloggen.
Diffusionstransformern som skapar bilden är en modell med 33,1 miljarder parametrar. Den bygger på H3-familjens arkitektur utan ljudlager. Texten tolkas av textkodaren från MiniMax-H3 i oförändrad form. Modellen fungerar enligt modellkortet för bilder på ungefär 4–20 megapixlar och bäst vid omkring 16 megapixlar.
Modellen behöver en detaljerad engelsk beskrivning av hela bilden. I MiniMax API utökar företagets tjänst H3-Image-Context-IR en kort prompt på valfritt språk till en sådan beskrivning. När bilden skapas från text kan prompten utökas på en egen server med den separata modellen MiniMax-H3-Image-PE. Modellkortets redigeringsexempel använder MiniMax API för utökningen.
Vikterna tar över 130 gigabyte
Bildmodellens filer är 68,65 GB. Dessutom krävs textkodaren på 66,7 GB, som laddas ned från kodförrådet för MiniMax-H3. Enligt modellkortet kan servern startas på en GPU, eller så kan en förfrågan fördelas på flera GPU:er, vilket ger kortare fördröjning. vLLM-Omni stöder bland annat Nvidias H200 och AMD:s Instinct MI350X, uppger modellkortet. Kortet innehåller instruktioner för SGLang, vLLM-Omni, diffusers och ComfyUI.
Användningen av modellen omfattas av MiniMax egen community-licens. Det separata skriftliga tillstånd som beskrivs i licensens avsnitt IV söks via ett formulär från MiniMax.
H3-Image finns som färdig tjänst via MiniMax API, MiniMax Code och appen Hailuo. Enligt bloggen är tjänstens standardläge 1,5–2 gånger och Highspeed-läget 3–4 gånger snabbare än gängse verktyg. Priset är enligt företaget 50–70 procent av priset för verktyg på samma nivå. Inte heller dessa verktyg namnges i bloggen. Under lanseringsveckan kostar bilder i 4K-storlek och större hälften av listpriset.
Läs mer: Modeller