Canonicalin Inference Manager asentaa Ubuntuun tekoälymalleja yhden rajapinnan taakse
Canonicalin uudella komentorivityökalulla voi asentaa Ubuntuun tekoälymalleja, jotka toimivat omalla koneella. Ohjelmat käyttävät kaikkia malleja yhden paikallisen osoitteen kautta.
Canonical esitteli Inference Managerin omassa Ubuntu Summit -tapahtumassaan. Asiasta kertoi saksalainen heise online 14. marraskuuta.
Inference Manager on komentorivityökalu, jolla voi hakea, asentaa ja poistaa inference snap -paketteja. Snap on Ubuntun oma pakettimuoto, ja inference snap -paketti sisältää tekoälymallin. Heisen mukaan Snap Storessa on useita tällaisia malleja, jotka toimivat kokonaan käyttäjän laitteella ilman verkkoyhteyttä. Canonicalin GitHub-ohjeen mukaan työkalu myös luettelee käytettävissä olevat mallit ja näyttää palvelujen tilan.
Ohjelmat käyttävät asennettuja malleja yhden paikallisen osoitteen kautta. Ohjelma lähettää pyynnön koneen porttiin 8400. Inference Manager välittää sen mallia ajavalle inference snap -paketille. Pyynnössä malli nimetään muodossa tarjoaja/malli, esimerkiksi gemma4/gemma4-e4b. Heisen mukaan samaa osoitetta voivat käyttää esimerkiksi työpöydän chat-avustajat, editorin koodausagentit ja puhetta tekstiksi muuttavat ohjelmat.
Canonicalin mukaan rajapinta on yhteensopiva OpenAI:n API:n kanssa, joten olemassa olevat asiakasohjelmat voi liittää siihen suoraan. Heise esittää yhteensopivuuden Canonicalin ilmoituksena.
Työkalu näyttää myös, millä laitteistolla ja ohjelmistolla mallin eri kokoja voi ajaa. Vaihtoehtoina ovat esimerkiksi suoritin tai AMD:n, Intelin tai Nvidian GPU. Canonicalin esimerkissä Gemma 4 -mallin kaikki neljä kokoa toimivat suorittimella sekä AMD:n ja Nvidian GPU:illa, mutta Intelin GPU:lla vain yksi niistä.
Heisen mukaan Ubuntun nykyisen version 26.10 mukana julkaistu saneluohjelma Myna perustuu inference snap -paketteihin. Myna muuttaa puheen tekstiksi ja kirjoittaa sen mihin tahansa tekstikenttään.
Heisen mukaan Canonical aikoo rakentaa Ubuntun tekoälyominaisuudet paikallisesti toimivien avointen painojen mallien varaan. Suunnitteilla ovat esimerkiksi tilanteeseen sopiva apu vianetsintään, saavutettavuutta parantava puheentunnistus ja tekoälyagenttien työnkulkuihin perustuvat automaatiot. Canonicalin mukaan ominaisuudet on tarkoitus tuoda valinnaisina: käyttäjä ottaisi ne itse käyttöön ja voisi poistaa ne milloin tahansa.
Inference Manager on saatavilla Snap Storesta, ja sen voi asentaa komentoriviltä tai Ubuntun App Centeristä. Asennus- ja käyttöohjeet sekä työkalun Go-kielinen lähdekoodi ovat Canonicalin GitHub-repositoriossa canonical/inference.
Lue lisää: Mallit