Google 宣布擴大第八代張量處理器（TPU）產品陣容，推出 TPU 8tx 與 TPU 8i Max 兩款全新系統，分別針對機密運算與大型脈絡視窗推論需求設計，加上 2026 年 4 月 Google Cloud Next 大會發表的 TPU 8t 及 TPU 8i，成為 Google 首度在同一年內推出 4 款 TPU 系統；TPU 8t 與 TPU 8i 分別針對大規模模型訓練及即時推論最佳化，相較前一代 TPU，前者訓練效能最高提升 2.7 倍，後者推論性價比則提升 80%，此次新增的兩款系統，進一步將應用範圍延伸至高度敏感資料處理，以及需要龐大記憶體資源的 AI 代理工作負載。
Google 最初在十多年前為語音辨識與語言翻譯等內部需求開發 TPU，如今已發展至第八代，除了支援 Google 自家的 Gemini 模型訓練與服務，也逐步擴展至 AI 代理、 Google Cloud 客戶及企業自有資料中心部署；TPU 業務目前擁有近 100 家客戶，涵蓋 AI 研究實驗室、交易機構、零售商及大學院校等不同領域。隨著 AI 運算從單次模型互動逐漸走向多個代理協同運作，企業對於運算效能、記憶體容量及資料安全的要求也持續提高，成為 Google 這次擴充產品陣容的主要原因。
TPU 8tx 主打硬體級機密運算，結合訓練與低延遲推論能力
新增的 TPU 8tx 主要針對受高度監管的企業與政府機構設計，強調在處理敏感資料、專屬 AI 模型及自主 AI 代理時，能提供硬體層級的機密運算保護，同時兼顧小規模模型訓練需求；一般運算環境雖然能對儲存及傳輸中的資料進行加密，但資料在記憶體中處理時通常需要解密，為降低相關風險，TPU 8tx 採用與 TPU 8t 相同的矽晶片，搭配第五代 AMD EPYC CPU 主機，將安全機制整合至硬體層，讓敏感資料與模型權重在實際運算期間也能維持保護及隔離。
效能方面，TPU 8tx 結合訓練等級的運算能力與專為即時推論設計的低延遲 Boardfly 網路，，相較 TPU 8t，其延遲最高可降低約一半，同時僅帶來極低的效能損耗，適合需要連續執行多個步驟的 AI 代理應用。
此外，企業可以直接在同一套系統上使用內部資料微調專屬模型，將大型模型透過蒸餾技術轉換為較小的模型，或利用強化學習訓練 AI 代理，不必為了不同運算程序而在多個叢集之間移動敏感資料。
TPU 8i Max 整合雙晶片，運算能力與記憶體頻寬同步翻倍
另一款新系統 TPU 8i Max 則聚焦於大型脈絡視窗與高密度推論需求；隨著 AI 代理開始同時分析完整軟體程式碼庫、長時間影片及百萬詞元規模的內容，記憶體頻寬逐漸成為限制運算效率的瓶頸；為因應這類需求，Google 將兩顆低延遲 TPU 8i 晶片整合封裝在單一模組中，使 TPU 8i Max 相較 TPU 8i 具備兩倍運算能力、兩倍 SRAM 容量及兩倍 HBM 記憶體頻寬，藉此減少大型 AI 工作負載因資料供應不足而產生的運算停滯。
TPU 8i Max 也透過雙晶片配置提高機櫃內的運算密度，在既有機櫃空間中容納兩倍的矽晶片，進而提高資料中心每單位面積與每瓦電力可部署的運算能力。
Google 表示，TPU 8t 主要負責大型基礎模型訓練，強調每瓦電力的有效運算產出；TPU 8i 則以低延遲推論為核心，晶片間通訊延遲最高可縮減一半，加上此次推出的 TPU 8tx 與 TPU 8i Max，第八代 TPU 已分別涵蓋大規模訓練、低延遲推論、機密運算及大型脈絡處理等不同需求。
這次發表的是兩款新「系統」，並非兩款全新設計的晶片，相較需要多年研發及製造週期的晶片設計，系統開發能透過調整運算資源、記憶體、光學網路、封裝方式與安全機制，圍繞既有晶片快速建立不同配置；這項模組化設計是 Google TPU 架構的重要基礎，讓 Google 能在數個月內推出針對特定需求打造的 AI 超級電腦系統，而不必等待新一代晶片完成開發。
開源 TorchTPU 降低開發門檻，整合 PyTorch 與主流 AI 工具
除了擴充硬體產品，Google 也持續調整 TPU 的軟體生態系，降低開發者使用專用 AI 加速器的門檻；Google 上個月已開源 TorchTPU，讓既有 PyTorch 程式碼與 Hugging Face 模型可以原生執行於 TPU，並為 vLLM 、 SGLang 等開源推論引擎提供 TPU 後端支援，減少開發者為不同硬體平台重新修改程式碼的需求。
同步開放預覽的開源 TPU agent suite，則能與 Claude Code 、 Cursor 及 Google Antigravity 等程式編寫工具整合，協助開發者自動設定 TPU 環境、診斷效能瓶頸，並透過自然語言調校客製化運算核心。
針對實際部署，Google 另外推出開源 XLA Serving Engine，讓開發者能在 Python 環境中訓練模型，再透過低延遲 C++ 執行環境，將模型服務部署至 TPU 、 GPU 及 CPU 等不同運算平台；Google 也公布原生 vLLM-TorchTPU 軟體堆疊在 InferenceX 及 AgentX 基準測試中的表現，該組合在代理式程式編寫、長脈絡推論等工作負載具備具競爭力的性價比，並能支援多種前沿開放模型與開源服務架構，同時維持模型準確度。
針對 AI 代理等待外部工具、資料庫查詢或人工回應時可能產生的運算資源閒置問題，Google 也推出 Agent Compute Engine，能自動暫停並重新啟動閒置的代理工作階段，以降低基礎設施運作成本。
此外，Google 開源的 TPU Sync 模型狀態層，則整合 TPU 晶片的 HBM 、主機 DRAM 、共用儲存空間及資料中心網路，建立統一的記憶體階層，支援大型 KV 快取移轉、分散式預填充與解碼節點間的資料傳輸，以及強化學習模型權重同步，相關技術可將 KV 快取傳輸延遲與首個詞元生成時間（TTFT）縮減 90% 以上，改善大型脈絡推論的記憶體瓶頸。
Google 強化 TPU 叢集管理，AI 也投入下一代晶片研發
為了讓大型 TPU 叢集更容易部署及管理，Google 也正式在 Google Kubernetes Engine（GKE）推出 Cloud Pathways，將 Google DeepMind 用於 Gemini 的執行環境開放給 Google Cloud 客戶使用；Cloud Pathways 採用單一控制器架構，搭配 pathwaysutils 、 Python 附屬容器、切片熱插拔及彈性重新分片技術，讓開發者能跨越多個 TPU 切片執行模型預訓練、強化學習與多主機推論，並在硬體中斷時維持長時間工作負載運作，其中切片熱插拔操作可在一分鐘內完成。
另一項已全面推出的 GKE 動態切片功能，則透過光路交換技術，讓實體 TPU 硬體與邏輯切片配置分離，能依照工作負載需求，將多個 TPU 運算單元動態組合為更大的超級切片，或拆分為獨立執行的子切片，減少過去需要手動重建節點集區的作業程序，這項功能讓工作啟動速度最高提升 5 倍，故障復原速度則提升達 4.5 倍，進一步改善大型 TPU 叢集的資源使用效率。
Google 強調，第八代 TPU 能在同一年內擴充至 4 款系統，與其長期採用晶片、網路、編譯器及 AI 模型共同設計的開發模式有關，除了持續與 Google DeepMind 合作，Google 也開始將 AI 技術導入下一代晶片研發流程，包括使用 AlphaChip 強化學習系統，以及透過 Gemini 協助晶片佈局設計，將部分原本需要數週完成的工作縮短至數小時。
