OVHcloud esitteli ensimmäisen kielimallinsa, 7 mrd. parametrin Olala minin
Ranskalainen pilviyhtiö OVHcloud julkaisee Olala mini 7A1B -mallin Hugging Facessa Apache 2.0 -lisenssillä. Yhtiön mukaan malli toimii 8 Gt:n GPU:lla, mutta Next.inkin laskelman mukaan pelkät parametrit vievät BF16-muodossa 14 Gt.
Olala mini on ensimmäinen malli OVHcloudin uudessa Olala-perheessä, joka on yhtiön ensimmäinen suurten kielimallien sarja. Yhtiön tiedotteen mukaan malli julkaistaan avointen painojen mallina. Painojen lisäksi julkaistaan esikoulutettu perusmalli, tekninen raportti ja EU:n tekoälyasetuksen vaatimustenmukaisuusaineisto. Virallinen julkistus on OVHcloud AI Summit -tapahtumassa 19. marraskuuta.
Olala mini on MoE-malli eli malli, joka käyttää kerrallaan vain osaa verkostaan. Sen 7 miljardista parametrista miljardi on aktiivisena. Aktiiviset parametrit jakautuvat jokaisessa kerroksessa 256 asiantuntijaosan kesken. OVHcloudin mukaan rakenne tekee mallista nopeamman ja vähentää muistin tarvetta. Ranskalainen Next.ink huomauttaa, että rakenne nopeuttaa laskentaa mutta ei pienennä muistin tarvetta, koska kaikki 7 miljardia parametria on silti ladattava muistiin.
OVHcloud sanoo mallin toimivan GPU:lla, jossa on vähintään 8 Gt muistia. Yhtiön mukaan malli tuottaa RTX A4500 -kortilla 160 tokenia ja pelkällä suorittimella 50 tokenia sekunnissa. Next.inkin laskelman mukaan BF16-muotoiset parametrit vievät yksinään 14 Gt, ja tilaa tarvitaan lisäksi kontekstille. Lehden mukaan kahdeksaan gigatavuun malli mahtuu kvantisoituna eli painot 8 tai 4 bitin tarkkuudella tallennettuina, jolloin ne vievät 7 tai 3,5 Gt. Next.ink huomauttaa myös, että nopeusmittauksen RTX A4500:ssa on 20 Gt muistia, eikä OVHcloud kerro, millä suorittimella 50 tokenin nopeus on mitattu.
Next.inkin mukaan OVHcloud ei ole kertonut nopeuden lisäksi muita vertailutestien tuloksia, joten mallin laatua ei voi vielä arvioida. Ensimmäisestä käyttökohteesta kertoo OVHcloud itse. Tiedotteen mukaan hakukone Qwant käyttää mallia pikavastauksissaan. Vastaukset tulevat 20 % nopeammin ja käyttökulut ovat kolmannes aiemmin käytetyn mallin kuluista. Next.ink kertoo, että Qwant on tähän asti käyttänyt Mistralin malleja ja että hakukoneen omistaa yhtiö, jota omistavat yhdessä Klaban perhe ja Caisse des dépôts. OVHcloudin toimitusjohtaja on Octave Klaba.
Malli koulutettiin kolmella eurooppalaisella julkisella supertietokoneella, jotka ovat Jupiter, MeluXina ja Jean Zay. Tiedotteen mukaan julkinen tuki vastasi 7 miljoonan euron arvoista laskenta-aikaa. Kiinalainen ithome.com (IT之家) kertoi summan koulutuksen kokonaiskuluksi. Next.inkin mukaan OVHcloud ei ole kertonut omista investoinneistaan.
Konteksti-ikkuna on nyt 32 000 tokenia. Vuoden loppuun mennessä odotettava versio 1.1 kasvattaa sen 128 000 tokeniin ja parantaa matemaattista päättelyä. Versiolle 2.0 ei ole annettu aikataulua. Se on tarkoitus jakaa yritysten agenttikäyttöön, pilvipalvelujen DevOps-työhön ja kyberturvallisuuteen erikoistuneisiin malleihin, ja sen parametrimäärä on yhtiön mukaan tarkoitus kasvattaa yli 100 miljardin.
Lue lisää: Mallit