Nvidia週一宣布，其Groq 3 LPX機架已全面量產，標誌著該公司有史以來最大收購案技術的商業化。

Nvidia高級總監Dion Harris告訴記者，Groq機架將與Vera中央處理器及Rubin圖形處理器一同部署於neocloud Nebius，並將於今年稍晚上線。

Nvidia積極製造Groq晶片並提供給客戶，凸顯低延遲推理的重要性，這對於讓人工智慧代理在使用者操作時感覺即時反應，尤其是在程式碼編寫方面，避免長時間延遲至關重要。Nvidia表示，雲端公司可因此對這類服務收取更高費用。

Harris表示：「對於提供代幣服務的用戶，這解鎖了提供高階服務層級的能力，針對那些真正要求最敏感延遲的用戶和客戶。」

去年12月，Nvidia以200億美元收購晶片新創公司Groq的資產，為公司最大規模的收購案。

Groq架構在晶片本體上包含500兆位元組的高速SRAM，以減少記憶體瓶頸。Groq晶片由三星製造，而台積電則負責生產Nvidia的GPU。

Nvidia將256顆Groq 3晶片組裝成LPX機架。根據Artificial Analysis的基準測試，Nvidia表示Groq 3 LPX機架每秒可處理3,400個代幣。

這是一個競爭激烈的領域。較小的GPU製造商AMD今年早些時候宣布將其機架級系統與近期上市的Cerebras晶片整合，後者專注於低延遲推理。OpenAI新推出的Ultrafast模式目前承諾每秒750個代幣，並由Cerebras提供技術支持。

低延遲晶片並不取代GPU，GPU是AI晶片的主力，既能進行訓練也能推理，且具備足夠彈性以適應新技術和模型。像Groq這類低延遲晶片主要專注於模型服務中的「解碼」階段。

Harris表示：「這不是要取代GPU，而是針對工作負載的不同部分，使用價格和處理器最合適的方案。」

Nvidia目前正在加速出貨今年初開始生產的Vera Rubin系統。在3月Vera Rubin與Groq 3 LPX發表會上，Nvidia執行長黃仁勳預測，從現有Blackwell晶片到新Vera Rubin系統，累計銷售額將在2027年前達到1兆美元。

黃仁勳當時表示，他將把四分之一的資料中心空間分配給Groq晶片，專門用於程式碼應用。

「我的資料中心其餘部分將100%使用Vera Rubin。」黃仁勳說。

Nvidia預計於週三公布財報。