Bland presenterar Tofu-1 för telefonsamtal – modellen lyssnar medan den talar, enligt företaget
Bland uppger att modellen Tofu-1 bearbetar samtalets ljud direkt utan att omvandla det till text. Den ska också kunna skilja den som ringer från till exempel tal från en tv. Det går att ansöka om förhandsversionen för forskning, men bara ett begränsat antal företag får tillgång. Inga oberoende tester av modellens prestanda har publicerats.
Bland i San Francisco utvecklar röst-AI och presenterade sin modell Tofu-1 den 13 november. Vd Isaiah Granet motiverade modellen på X: ”De viktigaste samtalen förs sällan under goda förhållanden: från bilar i rörelse och sjukhusrum, med svag uppkoppling och med flera som talar samtidigt.”
De flesta AI-agenter som används i telefon omvandlar tal till text, skickar texten till en språkmodell och gör sedan om svaret till tal, skriver Bland på sin produktsida. I varje steg går information förlorad, uppger företaget: vem som talade, till vem och om talaren tvekade. Tofu-1 bearbetar ljudet direkt.
Modellen lyssnar och talar samtidigt (full-duplex), så den som ringer kan avbryta den mitt i en mening. Det svåraste är att skilja en kvittens från en rättelse, säger Bland. I företagets exempel betyder ”mm-hmm” att modellen ska fortsätta och ”nej, det är 4 och inte 9” att den ska stanna. Modellen fortsätter också samtalet medan den hämtar information. Den säger inte att en uppgift är utförd förrän den är det, uppger företaget.
Ett av sina exempel kallar Bland TV-testet. Agenten ber den som ringer att bekräfta att försäkringen ska sägas upp. Personen letar fortfarande efter sitt försäkringsnummer, men från tv:n hörs ”Yes!”. En textbaserad agent kan tolka det som ett svar, enligt företaget. Tofu-1 är däremot byggd för att känna igen att ljudet kommer från tv:n och be den som ringer om en bekräftelse. Bland anger att situationen är en illustration och inte en inspelning av hur modellen fungerar.
Modellen kan också generera ljud i ett samtal, som en annan talares röst, rumsljud och brus på linjen. Tofu-1 skapade alla ljud i lanseringsvideon, även rösten hos den som ringer, uppger Bland.
Det enda prestandamåttet kommer från företagets eget lyssningstest
Enligt Blands sida, som Sulat citerar, kände 92 procent av deltagarna i interna lyssningstester inte igen Tofu-1:s röst som AI. Hur många som deltog eller hur testet gick till framgår inte. MarkTechPost och Glitchwire anger över 92 procent. Lyssnarna kunde inte skilja modellens ljud från en riktig inspelning, skriver Glitchwire.
Blands sida beskriver hur företaget testar modellen i samtalsuppgifter men publicerar inte Tofu-1:s resultat, skriver Sulat. Sidans poängtabeller är märkta som illustrationer. Inga oberoende tester har publicerats, uppger Glitchwire.
Bland har inte redovisat modellens antal parametrar, fördröjning eller resultat i benchmarkar, skriver MarkTechPost. Av konkurrenterna anger OpenAI en fördröjning vid turtagning på 0,798 sekunder för GPT-Live-1. För NVIDIA NemotronLabs VoiceChat 11B är fördröjningen 448 millisekunder. Siffrorna är tillverkarnas egna och kommer från olika versioner av benchmarket FDB, så de är inte direkt jämförbara.
Bland varnar själv för att den som ringer inte längre bör identifieras enbart med hjälp av rösten, skriver Sulat. För riskfyllda åtgärder rekommenderar företaget en andra identifieringsfaktor, till exempel en kod som skickas till en redan registrerad enhet.
Tillgänglig för ett begränsat antal företag
Tofu-1 är en stängd modell som körs på Blands servrar. Ett begränsat antal företag får tillgång till förhandsversionen för forskning. Bland vänder sig särskilt till banker, aktörer inom vård och försäkring samt offentlig förvaltning. Bland bedömer varje ansökan för sig, och den första versionen stöder engelska och spanska på vanliga telefonlinjer, skriver Sulat.
Priserna har inte offentliggjorts. Bland nämner att modellen blir tillgänglig i januari, skriver MarkTechPost. Enligt Sulat och Glitchwire har inget allmänt lanseringsdatum meddelats.