Google kertoi maanantaina 9. marraskuuta, että sen kahdeksannen sukupolven TPU-mallistoon tulee kaksi uutta järjestelmää. TPU on Googlen oma piiri tekoälylaskentaan. MarkTechPostin ja The Decoderin mukaan TPU 8tx ja TPU 8i Max eivät ole uusia siruja. Google käyttää huhtikuussa esiteltyjä TPU 8t- ja TPU 8i -piirejä ja muuttaa niiden pakkausta, isäntäsuorittimia, muistia ja verkkoa.

Google sanoo julkaisseensa nyt ensimmäistä kertaa neljä TPU-järjestelmää samana vuonna.

TPU 8tx suojaa dataa käsittelyn ajan

Yleensä data on salattu tallennettuna ja siirron aikana. Kun suoritin käsittelee dataa, salaus puretaan muistissa. Googlen mukaan TPU 8tx pitää datan ja mallin painot suojattuina ja eristettyinä myös käytön aikana. Järjestelmä on suunnattu säännellyille aloille ja viranomaisille.

TPU 8tx yhdistää TPU 8t:n piirin AMD:n viidennen sukupolven EPYC-suorittimiin ja käyttää TPU 8i:n Boardfly-verkkoa. Googlen mukaan viive lyhenee TPU 8t:hen verrattuna parhaimmillaan puoleen. Suojaus ei sen mukaan juuri hidasta laskentaa. Googlen mukaan samassa järjestelmässä voi hienosäätää ja tislata malleja sekä kouluttaa niitä vahvistusoppimisella. Dataa ei tarvitse siirtää klusterista toiseen. The Decoder huomauttaa, että Nvidia tarjoaa jo vastaavaa luottamuksellista laskentaa GPU-piireilleen.

TPU 8i Max yhdistää kaksi sirua

TPU 8i Max kokoaa kaksi TPU 8i -sirua yhteen pakettiin. Googlen mukaan TPU 8i:hin verrattuna kaksinkertaistuvat laskentateho, sirun sisäinen SRAM-muisti ja HBM-muistin kaistanleveys. HBM on piirin viereen pakattu nopea muisti. Samaan räkkitilaan mahtuu kaksi kertaa enemmän piirejä. Google tarjoaa järjestelmää tekoälyagenteille, jotka käsittelevät kokonaisia koodikantoja tai tuntikausia videota.

MarkTechPost kaksinkertaisti TPU 8i:n julkaistut luvut ja sai paketin laskentatehoksi noin 20,2 petaflopsia FP4-tarkkuudella ja muistikaistaksi noin 17,2 Tt/s. Google ei julkaissut näitä lukuja eikä HBM-muistin määrää, vaikka The Decoder kirjoittaa muistin kaksinkertaistuvan.

Saatavuuspäiviä ja hintoja Google ei kertonut. MarkTechPost viittaa Bloombergin tietoon, jonka mukaan molemmat järjestelmät tulevat saataville vuonna 2027.

TPU Sync nopeuttaa välimuistin siirtoja

Google julkaisi samalla avoimen lähdekoodin C++-kirjaston TPU Sync. Kielimalli tallentaa jo käsitellyn tekstin välitulokset KV-välimuistiin, ettei niitä tarvitse laskea uudelleen. TPU Sync siirtää tätä välimuistia piirin muistin, palvelimen keskusmuistin ja muiden TPU-solmujen välillä.

MarkTechPost referoi Googlen omia mittauksia. Niissä Qwen3 235B -mallin välimuistin siirron mediaaniviive lyheni useasta sekunnista noin 230 millisekuntiin. Ensimmäisen tokenin viive lyheni keskimäärin 60 prosenttia 235B-mallilla ja 90 prosenttia 480B-mallilla, kun samanaikaisia pyyntöjä oli vähän. Mittaukset tehtiin Ironwood-piireillä (TPU v7x), ei uusilla järjestelmillä.

GitHub-sivun mukaan TPU Sync on testattu ja optimoitu TPU v7x- ja v6e-piireille, ja sen rajapinnat muuttuvat vielä nopeasti. PyPI-palvelussa on vasta kehitysversioita. Projektin entiset pakettinimet tpu-raiden-jax ja tpu-raiden-torch eivät ole sen hallinnassa, eikä niitä pidä asentaa.