Canonicals Inference Manager installerar AI-modeller i Ubuntu bakom ett enda gränssnitt
Med Canonicals nya kommandoradsverktyg går det att installera AI-modeller i Ubuntu. Modellerna körs på den egna datorn, och program når dem alla via en enda lokal adress.
Canonical presenterade Inference Manager på sitt eget evenemang Ubuntu Summit. Det rapporterade tyska heise online den 14 november.
Inference Manager är ett kommandoradsverktyg för att hämta, installera och ta bort inference snap-paket. Snap är Ubuntus eget paketformat, och ett inference snap-paket innehåller en AI-modell. Enligt heise finns det i Snap Store flera sådana modeller som körs helt på användarens enhet utan internetanslutning. Verktyget listar också tillgängliga modeller och visar tjänsternas status, uppger Canonical i sina instruktioner på GitHub.
Program når de installerade modellerna via en enda lokal adress. Programmet skickar en förfrågan till port 8400 på datorn. Inference Manager vidarebefordrar den till det inference snap-paket som kör modellen. I förfrågan anges modellen i formatet leverantör/modell, till exempel gemma4/gemma4-e4b. Samma adress kan användas av exempelvis chattassistenter på skrivbordet, kodningsagenter i editorn och program som omvandlar tal till text, skriver heise.
Canonical uppger att gränssnittet är kompatibelt med OpenAI:s API, så befintliga klientprogram kan anslutas direkt. Heise återger kompatibiliteten som Canonicals uppgift.
Verktyget visar också på vilken hårdvara och programvara modellens olika storlekar kan köras. Alternativen är till exempel processorn eller en GPU från AMD, Intel eller Nvidia. I Canonicals exempel fungerar alla fyra storlekar av Gemma 4 på processorn och på GPU:er från AMD och Nvidia, men bara en av dem på Intels GPU.
Dikteringsprogrammet Myna, som släpptes med Ubuntus nuvarande version 26.10, bygger enligt heise på inference snap-paket. Myna omvandlar tal till text och skriver in den i valfritt textfält.
Canonical planerar att bygga Ubuntus AI-funktioner på lokalt körda modeller med öppna vikter, skriver heise. Planerna omfattar till exempel situationsanpassad hjälp vid felsökning, taligenkänning för bättre tillgänglighet och automatiseringar som bygger på arbetsflöden med AI-agenter. Enligt Canonical är funktionerna tänkta att bli valfria: användaren skulle själv aktivera dem och kunna ta bort dem när som helst.
Inference Manager finns i Snap Store och kan installeras från kommandoraden eller via Ubuntus App Center. Instruktioner för installation och användning samt verktygets källkod i Go finns i Canonicals kodförråd canonical/inference på GitHub.
Läs mer: Modeller