Google meddelade på måndagen den 9 november att två nya system läggs till i företagets åttonde generation av TPU. TPU är Googles egen krets för AI-beräkningar. Enligt MarkTechPost och The Decoder är TPU 8tx och TPU 8i Max inte nya chip. Google använder kretsarna TPU 8t och TPU 8i, som presenterades i april, och ändrar deras kapsling, värdprocessorer, minne och nätverk.

Google säger att företaget nu för första gången har lanserat fyra TPU-system under samma år.

TPU 8tx skyddar data under bearbetningen

Normalt krypteras data vid lagring och under överföring. När processorn bearbetar data dekrypteras de i minnet. Enligt Google håller TPU 8tx data och modellvikter skyddade och isolerade även medan de används. Systemet riktar sig till reglerade branscher och myndigheter.

TPU 8tx kombinerar kretsen från TPU 8t med AMD:s EPYC-processorer av femte generationen och använder nätverket Boardfly från TPU 8i. Jämfört med TPU 8t halveras fördröjningen i bästa fall, uppger Google. Skyddet gör knappt beräkningen långsammare, säger företaget. Google uppger också att man i samma system kan finjustera och destillera modeller samt träna dem med förstärkningsinlärning. Data behöver inte flyttas från ett kluster till ett annat. The Decoder påpekar att Nvidia redan erbjuder motsvarande konfidentiell beräkning för sina GPU:er.

TPU 8i Max kombinerar två chip

TPU 8i Max samlar två TPU 8i-chip i en kapsel. Jämfört med TPU 8i fördubblas enligt Google beräkningskraften, SRAM-minnet på chipet och bandbredden för HBM-minnet. HBM är snabbt minne som kapslas bredvid kretsen. I samma rackutrymme ryms dubbelt så många kretsar. Google erbjuder systemet för AI-agenter som bearbetar hela kodbaser eller timtals med video.

MarkTechPost dubblerade de publicerade siffrorna för TPU 8i och kom fram till en beräkningskraft på omkring 20,2 petaflops med FP4-precision och en minnesbandbredd på omkring 17,2 TB/s per kapsel. Google har inte publicerat dessa siffror eller mängden HBM-minne, även om The Decoder skriver att minnet fördubblas.

Google uppgav varken tillgänglighetsdatum eller priser. MarkTechPost hänvisar till en uppgift från Bloomberg om att båda systemen blir tillgängliga 2027.

TPU Sync snabbar upp cacheöverföringar

Samtidigt släppte Google C++-biblioteket TPU Sync som öppen källkod. En språkmodell sparar mellanresultat för redan bearbetad text i en KV-cache så att de inte behöver beräknas igen. TPU Sync flyttar denna cache mellan kretsens minne, serverns arbetsminne och andra TPU-noder.

MarkTechPost återger Googles egna mätningar. I dem minskade medianfördröjningen vid cacheöverföring för modellen Qwen3 235B från flera sekunder till omkring 230 millisekunder. Fördröjningen till första token minskade i genomsnitt med 60 procent för 235B-modellen och med 90 procent för 480B-modellen när antalet samtidiga förfrågningar var lågt. Mätningarna gjordes på Ironwood-kretsar (TPU v7x), inte på de nya systemen.

Enligt GitHub-sidan är TPU Sync testat och optimerat för TPU v7x- och v6e-kretsar, och dess gränssnitt ändras fortfarande snabbt. På PyPI finns hittills bara utvecklingsversioner. De tidigare paketnamnen tpu-raiden-jax och tpu-raiden-torch kontrolleras inte av projektet, och paketen ska inte installeras.