Tencentin WorkBuddy-agentti käyttää beetassa työpöytäohjelmia ilman rajapintaa
Tencentin WorkBuddy-agentti tunnistaa julkisessa beetassa Windows- ja macOS-ohjelmien näkymiä, Tencentin mukaan eri ohjelmissa eri hyvin, ja klikkaa, kirjoittaa ja vierittää niissä. Tencent neuvoo pysymään paikalla, kun agentti kirjautuu, maksaa, lähettää tai poistaa tietoja.
Tencent kertoi 20. marraskuuta toimistokäyttöön tehdyn tekoälyagenttinsa WorkBuddyn osaavan nyt käyttää myös ohjelmia, joilla ei ole rajapintaa (API), valmista liitäntää tai selainversiota. Tieto on peräisin WorkBuddyn virallisesta WeChat-tilistä, jota PANews referoi. Pandailyn lähteinä puolestaan ovat kiinalaiset IT Home, Phoenix Technology ja Yicai.
Tällaisessa tietokoneen käytössä (computer use) agentti käyttää ohjelmaa näytön kautta rajapinnan sijaan. Se tunnistaa ohjelman näkymän ja klikkaa, kirjoittaa ja vierittää siinä kuten ihminen. Gate.comin mukaan käyttäjä kertoo keskustelussa käytettävän ohjelman, työvaiheet ja halutun tuloksen.
Tencentin esimerkissä agentti yhdistää kahden erillisen ohjelman tiedot saapuvan erän tunnuksen avulla. Se tarkistaa laitteen saapumisen varastojärjestelmästä ja etsii saman laitteen omaisuusjärjestelmästä. Pandailyn mukaan kyse on WorkBuddy-sovelluksen ominaisuudesta eikä uusien mallin painojen julkaisusta. Ominaisuus on eri asia kuin Tencentin Hy4-mallin näkö- ja tietokoneenkäyttökyvyt, joista kerrottiin aiemmin marraskuussa.
Näytön lukemiseen perustuvalla tavalla on rajansa. Tencentin mukaan agentti tunnistaa käyttöliittymän eri ohjelmissa eri hyvin. Ohjelman aukeaminen työpöydällä ei siis vielä takaa, että agentti osaa käyttää sitä. Agentti voi toimia taustalla, ja sen etenemistä voi seurata sivulle avautuvasta pienestä ikkunasta. Pandaily huomauttaa, ettei samaa ohjelmaa silti ole turvallista käyttää yhtä aikaa agentin kanssa. Jos käyttäjä vaihtaa ohjelmassa aktiivista kenttää tai näkymää, agentin tehtävä voi keskeytyä.
Tencent neuvoo käyttäjää pysymään paikalla ja seuraamaan agentin toimia kirjautumisessa, valtuutuksissa, maksuissa sekä tietojen lähettämisessä ja poistamisessa. Tehtävän jälkeen tulokset kannattaa tarkistaa alkuperäisestä järjestelmästä. PANewsin mukaan käyttäjä vahvistaa tietojen lähettämiseen liittyvät toimet, kun taas Pandaily ja Gate kuvaavat valvonnan pelkkänä suosituksena. Pandailyn mukaan ohjeet eivät takaa, että riskialttiit toimet estetään.
Pandaily ei asentanut WorkBuddya eikä testannut ominaisuutta. Lähteet eivät myöskään kerro, kuinka usein agentti onnistuu tehtävissään eri yritysohjelmissa.
Beeta toimii Windowsissa ja macOS:ssä, ja se vaatii WorkBuddyn version 5.11.0 tai uudemman. Käyttäjä ottaa toiminnon käyttöön sovelluksen asetuksista ja antaa agentille käyttöjärjestelmässä käyttöapu- ja näytön tallennusluvat. Pandailyn mukaan eräs käyttäjä kertoi beeta-asetuksesta jo ennen ilmoitusta. Gate kertoo Tencentin kolmannen vuosineljänneksen raporttiin viitaten, että WorkBuddylla oli marraskuun alussa yli 10 miljoonaa päivittäistä käyttäjää.