Egyptisk och nigeriansk engelska läggs till i Hugging Faces topplista för taligenkänning
Skriven av AI
Open ASR Leaderboard har fått två opublicerade testdatamängder med samtalstal från Liva AI. Nu kan resultaten för den amerikanska accenten jämföras med andra länders accenter och grupper av engelskspråkiga områden med varandra.
Hugging Face skrev i ett blogginlägg den 6 november att företagets topplista för taligenkänningsmodeller får opublicerade testdata för två nya engelska accenter. Datan till Open ASR Leaderboard levereras av företaget Liva AI: 1,34 timmar egyptisk engelska och 1,55 timmar nigeriansk engelska.
Båda datamängderna består av spontant samtalstal. Transkriptionerna har skiljetecken och versaler. Även störningar i talflytet, som stakningar och utfyllnadsord, är markerade. Webbplatsen Tech Beat, som refererar blogginlägget, ser datamängdernas ringa storlek som en risk.
Datamängderna publiceras inte. Enligt Hugging Face är syftet att minska benchmaxxing, alltså att modeller trimmas mot kända testmängder. Nya dataleverantörer ökar också förtroendet för utvärderingarna, uppger företaget.
För några månader sedan levererade Appen och DataOceanAI 11 privata delmängder till listan. De innehåller manusbaserat tal och samtal med fem accenter. Senare levererade Voice Arena en delmängd med indisk engelska.
Med de nya accenterna redovisar listans flik Private resultaten mer detaljerat. Indelningen bygger på Kachrus modell med tre cirklar. Modellen delar in engelsktalande länder efter om engelska där är det huvudsakliga modersmålet, ett officiellt andraspråk eller ett främmande språk. Hugging Face uppger att idén kommer från Hume AI:s topplista.
Fliken Private har nu två jämförelser. Den första ställer den amerikanska accenten mot de övriga: Storbritannien, Australien, Kanada, Indien, Nigeria och Egypten. Den andra jämför den inre cirkeln (USA, Storbritannien, Australien, Kanada) med den yttre och den expanderande cirkeln (Indien, Nigeria, Egypten). De två senare cirklarna ligger tills vidare i samma grupp. I den här indelningen går de därför ännu inte att jämföra med varandra. Hugging Face planerar att skilja dem åt när fler accenter tillkommer.
Liva AI samlar in interaktionsdata i flera olika former från användare av sina konsumentprodukter, står det i blogginlägget. Företaget kan enligt sin egen beskrivning utforma produkterna utifrån specifika brister i modellerna. Då fångar datan naturligt beteende i stället för särskilt efterfrågade uppgifter.