Hugging Face kertoi 6. marraskuuta blogissaan, että sen puheentunnistusmallien vertailulista saa julkaisematonta testiaineistoa kahdesta uudesta englannin aksentista. Open ASR Leaderboard -listan aineistot toimittaa Liva AI -yhtiö: egyptiläistä englantia on 1,34 tuntia ja nigerialaista 1,55 tuntia.

Molemmat aineistot ovat spontaania keskustelupuhetta. Litteroinneissa on välimerkit ja isot alkukirjaimet, ja niihin on merkitty myös puheen sujumattomuudet, kuten takeltelut ja täytesanat. Blogia referoiva Tech Beat -sivusto pitää riskinä aineistojen pientä kokoa.

Aineistoja ei julkaista. Hugging Facen mukaan näin pyritään vähentämään benchmaxxingia eli mallien virittämistä tunnettuihin testijoukkoihin. Yhtiön mukaan myös uudet aineistontoimittajat lisäävät luottamusta arvioihin.

Appen ja DataOceanAI toimittivat listalle muutama kuukausi sitten 11 yksityistä osajoukkoa. Niissä on käsikirjoitettua puhetta ja keskustelua viidellä aksentilla. Myöhemmin Voice Arena toimitti intialaisen englannin osajoukon.

Uusien aksenttien myötä listan Private-välilehti erittelee tulokset tarkemmin. Jaottelu perustuu Kachrun kolmen kehän malliin. Se ryhmittelee englantia puhuvat maat sen mukaan, onko englanti niissä pääasiallinen äidinkieli, virallinen toinen kieli vai vieras kieli. Hugging Face kertoo saaneensa idean Hume AI:n vertailulistalta.

Private-välilehdellä on nyt kaksi vertailua. Ensimmäisessä Yhdysvaltojen aksenttia verrataan muihin: Isoon-Britanniaan, Australiaan, Kanadaan, Intiaan, Nigeriaan ja Egyptiin. Toisessa verrataan sisäkehää (Yhdysvallat, Iso-Britannia, Australia, Kanada) ulko- ja laajenevaan kehään (Intia, Nigeria, Egypti). Kaksi jälkimmäistä kehää ovat toistaiseksi samassa ryhmässä, joten tässä jaottelussa niitä ei voi vielä verrata keskenään. Hugging Face aikoo erottaa ne, kun aksentteja tulee lisää.

Blogin mukaan Liva AI kerää omien kuluttajatuotteidensa käyttäjiltä vuorovaikutusaineistoa useassa eri muodossa. Liva AI:n kuvauksen mukaan se voi suunnitella tuotteet mallien tiettyjen puutteiden pohjalta, jolloin aineistoon tallentuu luonnollista käyttäytymistä eikä erikseen pyydettyjä tehtäviä.