在推出能同時處理人工智慧模型訓練與推論任務的晶片多年後,Google 將這些任務劃分為不同的處理器,這是其在 AI 硬體領域挑戰輝達(Nvidia)的最新舉措。
Google 週三表示,將對其第八代張量處理單元(TPU)進行此項變革。兩款新晶片將於今年稍晚推出。
Google AI 和基礎設施資深副總裁兼首席技術長 Amin Vahdat 在部落格文章中表示:「隨著 AI 代理程式的興起,我們認為社群將從專門針對訓練和服務需求的晶片中受益。」
今年三月,輝達曾談論其即將推出的晶片,該晶片透過其斥資 200 億美元收購的晶片新創公司 Groq 的技術,能讓模型快速回應使用者的問題。Google 是輝達的主要客戶之一,但它也為使用其雲端服務的公司提供 TPU 作為替代方案。
全球大多數頂尖科技公司都在追求客製化半導體開發,以最大化人工智慧的效率並針對特定使用案例進行建構。蘋果多年來已在其自家 iPhone 晶片中納入神經引擎 AI 組件。微軟在一月宣布了第二代 AI 晶片。上週,Meta 表示正與博通(Broadcom)合作開發多款 AI 處理器。
Google 在這股趨勢中起步較早。該公司自 2015 年開始使用自行設計的處理器來運行 AI 模型,並於 2018 年開始向雲端客戶出租。亞馬遜網路服務(Amazon Web Services)於 2018 年宣布了用於處理 AI 請求的 Inferentia 晶片,並於 2020 年推出了用於訓練 AI 模型的 Trainium 處理器。
DA Davidson 分析師在九月估計,TPU 業務加上 Google DeepMind AI 集團的價值約為 9000 億美元。
沒有一家科技巨頭能夠取代輝達,Google 並未將其新晶片的效能與 AI 晶片領導者的產品進行比較。Google 表示,其訓練晶片在相同價格下,效能比去年十一月宣布的第七代 Ironwood TPU 提升了 2.8 倍,而推論處理器的效能則提升了 80%。
輝達表示,其即將推出的 Groq 3 LPU 硬體將利用大量的靜態隨機存取記憶體(SRAM),這也是本月稍早申請上市的 AI 晶片製造商 Cerebras 所使用的技術。Google 的新款推論晶片 TPU 8i 也依賴 SRAM。每顆晶片包含 3.84 億位元組的 SRAM,是 Ironwood 的三倍。
Google 母公司 Alphabet 執行長 Sundar Pichai 在部落格文章中寫道,該架構旨在「以具成本效益的方式,提供大規模吞吐量和低延遲,以同時運行數百萬個代理程式。」
Google AI 晶片的採用率正在迅速提升。Google 表示,Citadel Securities 利用 Google 的 TPU 建構了量化研究軟體,美國能源部所有 17 個國家實驗室都使用基於這些晶片建構的 AI 協同科學家軟體。Anthropic 已承諾使用數吉瓦(gigawatts)等級的 Google TPU。