在 Google，我們的 TPU 設計理念始終圍繞三大支柱：可擴展性、可靠性與效率。隨著 AI 模型從密集的大型語言模型（LLM）演進到龐大的專家混合模型（MoE）與推理密集型架構，硬體必須不僅提升每秒浮點運算次數（FLOPS），更要針對最新工作負載的特定運算強度進行演進。

自主型 AI 的興起需要能處理長上下文視窗與複雜序列邏輯的基礎設施。同時，世界模型已成為現有序列資料架構的必要演進，意味著新一代代理能模擬未來場景、預測後果，並透過「想像」而非風險試錯來學習。第八代 TPU（TPU 8t 與 TPU 8i）正是我們對這些挑戰的回應，確保從訓練的第一個標記到多輪推理鏈的最後一步，每個工作負載都能以最高效率運行。它們被設計用來高效訓練與服務如 Google DeepMind 的 Genie 3 等世界模型，使數百萬代理能在多樣化模擬環境中練習並精進推理能力。

鑑於預訓練、後訓練與即時服務的基礎設施需求已分歧，我們第八代 TPU 推出兩套系統：TPU 8t 與 TPU 8i。這兩套系統是 Google Cloud AI 超級電腦的關鍵組成部分，該架構整合硬體、軟體與網路，驅動完整 AI 生命週期。兩者共享 Google AI 堆疊的核心基因並支持完整 AI 生命週期，但各自針對不同瓶頸優化，提升關鍵開發階段的效率。此外，透過在第八代 TPU 系統中整合基於 Arm 的 Axion CPU 頭端，我們消除了因資料準備延遲造成的主機瓶頸。Axion 提供足夠運算空間處理複雜資料前處理與協調，確保 TPU 持續供給不會停滯。

TPU 8t 針對大規模預訓練與嵌入式工作負載優化，採用經證實的 3D 環狀網路拓撲，單一超級節點可擴展至 9,600 顆晶片。TPU 8t 設計以確保數百個超級節點的最大吞吐量，確保訓練按時完成。

TPU 8t 相較前代 TPU 的主要進展包括：

Virgo 網路拓撲與最高 4 倍資料中心網路頻寬提升：為支援 TPU 8t 的龐大資料需求，我們引入了 Virgo 網路。此新網路架構使 TPU 8t 訓練的資料中心網路頻寬提升至 4 倍。Virgo 網路為現代 AI 工作負載的極端需求設計，採用高基數交換器減少網路層數，實現扁平化、兩層非阻塞拓撲。與傳統資料中心網路相比，大幅降低延遲並減少網路層級。它具備多平面設計與獨立控制域以連接 TPU 8t 晶片，TPU 8t 機架亦連接 Jupiter 南北向網路以存取運算與儲存服務。此架構提供龐大雙向頻寬與確定性低延遲，支援全球最大訓練叢集的高可用性。

TPU 8t 在晶片間互連（ICI）頻寬提升 2 倍，資料中心網路頻寬提升最高 4 倍，大幅減少資料瓶頸。為加速前沿模型開發，我們將分散式訓練擴展至單一叢集之外。透過 JAX 與 Pathways，現可擴展至超過 100 萬顆 TPU 晶片的訓練叢集。Virgo 網路可連結超過 134,000 顆 TPU 8t 晶片，提供高達 47 Pbps 非阻塞雙向頻寬，單一網路架構達成超過 1.7K ExaFlops 的近線性擴展效能。

更快的儲存存取：TPU 8t 引入 TPUDirect RDMA 與 TPU Direct Storage。TPU Direct RDMA 允許 TPU 記憶體（HBM）與網路介面卡（NIC）間直接資料傳輸，繞過主機 CPU 與 DRAM，降低延遲與主機瓶頸，提升 TPU 間通訊頻寬。TPU Direct Storage 則繞過 CPU 主機瓶頸，實現 TPU 與高速管理儲存（如 10T Lustre）間的直接記憶體存取，資料傳輸頻寬翻倍。此架構使晶片能以線速攝取訓練資料，確保 MXU 在處理大型多模態資料集時保持飽和。

結合 Managed Lustre 10T 與 TPUDirect Storage，TPU 8t 可直接將百拍字節級資料集路由至晶片，避免因資料攝取瓶頸導致訓練延遲，儲存存取速度較第七代 Ironwood TPU 快 10 倍。

TPU 8i 則針對後訓練與高併發推理優化，配備最高容量片上 SRAM、新的集體加速引擎（CAE）與名為 Boardfly 的服務優化網路拓撲。

集體加速引擎（CAE）：為解決取樣瓶頸，TPU 8i 採用 CAE，能以近乎零延遲聚合跨核心結果，特別加速自回歸解碼與「思維鏈」處理中的歸約與同步步驟。每顆 TPU 8i 晶片包含兩個核心 Tensor Core（TC）與一個晶片組 CAE，取代前代 Ironwood TPU 核心晶片上的四個 SparseCore（SC）。透過整合專用 CAE，TPU 8i 將集體操作的片上延遲降低 5 倍。較低的集體操作延遲意味著等待時間減少，直接提升同時運行數百萬代理所需的吞吐量。

Boardfly 拓撲由多個元素組成，具階層性：

為何 TPU 8i 捨棄環狀拓撲？關鍵在於網路直徑。

3D 環狀中，節點排列成環狀網格，最遠晶片在 8 x 8 x 16（1024 晶片）配置中，封包需穿越每個環半圈距離：

3D 環狀 = 8/2(X) + 8/2(Y) + 16/2(Z) = 16 跳

環狀拓撲適合鄰近節點通訊，卻對全對全通訊模式造成延遲負擔。推理模型與 MoE 時代，任一晶片可能需與任一其他晶片通訊以路由標記，跳數影響顯著。

Boardfly 採用高基數拓撲，靈感來自 Dragonfly 原理，透過增加板組間的直接光纖長距離連結，扁平化網路。對同一 1024 晶片節點，Boardfly 將網路直徑從 16 跳減少至 7 跳。

此 56% 的網路直徑縮減直接降低尾端延遲，確保 TPU 8i CAE 不必長時間等待來自整個節點的資料。

硬體的強大取決於驅動它的軟體。第八代 TPU 建立在我們於第七代 Ironwood TPU 開創的性能優先堆疊上，旨在讓自訂核心開發更易於使用，且不犧牲高階框架的抽象層。此堆疊包含：

Pallas 與 Mosaic：我們提供對 Pallas 的一流支援，這是我們的自訂核心語言，讓您能用 Python 編寫硬體感知核心，充分發揮 TPU 8i CAE 與 TPU 8t SparseCore 的性能。

原生 PyTorch 體驗：我們很高興宣布 TPU 的原生 PyTorch 支援現已預覽。若您目前使用 PyTorch 建構與服務模型，使用 TPU 變得前所未有的簡單。您可直接將現有模型帶到 TPU，並完整支援您依賴的原生功能，如 Eager Mode。

可攜性：同樣的 JAX、PyTorch 或 Keras 程式碼可從 Ironwood 無縫擴展至本代。加速線性代數（XLA）在幕後處理 Boardfly 拓撲與 CAE 同步，讓您專注於模型而非互連。

我們持續硬體與軟體共同設計的承諾帶來豐碩成果。與第七代 Ironwood TPU 相比，第八代 TPU 帶來巨大提升：

訓練價格效能：TPU 8t 在大規模訓練中，性能價格比提升最高達 2.7 倍。

推理價格效能：TPU 8i 在低延遲目標下，特別是大型 MoE 模型，性能價格比提升最高達 80%。

能源效率：兩款晶片的每瓦性能提升最高達 2 倍，對於可持續擴展下一代 AI 至關重要。

為了賦能 Google Cloud 客戶引領下一波創新，我們將 TPU 8t 與 TPU 8i 設計為兩套專門系統，針對 AI 生命週期多面向未來需求量身打造。TPU 8t 與 8i 均為最嚴苛的服務與訓練工作負載專用，並完全集成 AI 超級電腦軟體堆疊：JAX、PyTorch、vLLM、XLA 與 Pathways。此專業化與從零開始的重新設計，與 Google DeepMind 深度合作，帶來卓越的價格效能與能源效率。

我們第八代架構的模組化提供清晰且獨特的未來路線圖。正如每次計算領域重大轉變都需基礎設施突破，代理時代亦然。能在連續反饋迴路中規劃、執行與學習的推理代理，無法在原為傳統訓練或交易推理優化的硬體上達到最高效率；其運算強度本質不同。我們第八代 TPU 基礎設施已針對這些特定需求進化。

欲了解更多關於第八代 TPU 家族的資訊：