Perplexity: Brain skrev över 80 000 skills utifrån över 20 000 användares tidigare uppgifter
Perplexitys Brain sammanställer skills, alltså färdiga arbetsinstruktioner, åt användarna av agenten Computer utifrån deras tidigare sessioner. Enligt företagets eget experiment minskade felen i verktygsanropen med 11 procent. Siffran inkluderar dock även systemets egna bakgrundskörningar.
Perplexity meddelade den 18 november att Brain nu skriver och uppdaterar skills på egen hand. Brain är personaliseringssystemet i företagets agent Computer. En skill är en återanvändbar instruktion som agenten laddar för en återkommande uppgift. Instruktionen kan också innehålla skript. Modellvikterna ändras inte. Inlärningen syns i stället som instruktioner som agenten får tillgång till.
Enligt företagets blogg skrev Brain över 80 000 skills mellan den 1 augusti och den 14 november och gjorde över 100 000 uppdateringar från och med den 4 september. Webbplatsen OpenTools återger samma siffror från Perplexitys blogg via Unite.AI och bekräftar dem alltså inte självständigt.
En gång om dagen läser en förbättringsagent användarens senaste sessioner i en sandlåda där den saknar internetanslutning och åtkomst till anslutna tjänster. En ny skill skapas först när samma arbetssätt har återkommit två gånger oberoende av varandra. För en uppdatering räcker en observation. Automatiska kontroller säkerställer att förslaget går att ta i bruk. En bedömare som bygger på en språkmodell granskar dock bara ett urval av förslagen. Det kan finnas högst tio automatiskt skapade skills, eftersom listan över dem laddas i början av varje session.
I ett randomiserat experiment på åtta veckor jämförde Perplexity en försöksgrupp som använde funktionen med en kontrollgrupp där den var avstängd. I försöksgruppen fick 72,9 procent minst en ny skill, medan 6,5 procent i kontrollgruppen lade till en själva. Felen i verktygsanropen minskade med 11 procent. Siffran inkluderar systemets egna bakgrundskörningar. Utan dem var minskningen omkring 7 procent. Per användare sjönk antalet konversationer med medelstort eller stort missnöje med 7,6 procent. Ingen förändring syntes i kostnad eller fördröjning. Företaget uppger att resultaten är preliminära.
I benchmarket SkillLearnBench steg andelen lyckade uppgifter från 43,8 procent till 62,5 procent. Jämförelsen omfattade dock bara 16 testfall, och vart och ett kördes både med och utan skill.
Ändringar i skills som är gemensamma för alla börjar gälla först när den gamla och den nya versionen har körts i samma felsituationer och en ingenjör har godkänt en pull request.
Funktionen är aktiverad som standard för Max-prenumeranter i USA, men den går att stänga av. Enligt OpenTools kostar Max 200 dollar i månaden. På fliken Plugins kan användaren se de skills som Brain har skrivit och välja vilka av dem som ska vara aktiva.
Läs mer: Hur en agent fungerar · Agentkarta