AI 大幅縮短了其設計時間；未來只會更快

OpenAI 的 Jalapeño 將其運算晶粒與六堆 HBM4 和一個 I/O 晶粒配對。

8 月 25 日，OpenAI 全面揭曉了其首款 AI 加速器晶片 Jalapeño。Jalapeño 可提供高達 13.4 Petaflops 的 4 位元運算能力，並存取 232 GB 的最先進記憶體，以驚人的 15.4 TB/s 速度連接。OpenAI 引用的基準測試顯示，與 Nvidia 目前依賴的 GB300 晶片相比，Jalapeño 可將端對端延遲（從提示到最後一個 token 的時間）縮短高達 3.6 倍，同時功耗更低。

這些數據在 Jalapeño 進入 OpenAI 推論機隊廣泛服務後，是否能轉化為實際效益仍有待觀察，但效能僅是故事的一半。另一半則是晶片的設計方式——正如您所預期的，這個過程透過 OpenAI 的大型語言模型（LLM）得到了加速。Jalapeño 從第一個架構概念到首批晶片僅耗時不到 20 個月。從 RTL（定義晶片邏輯的暫存器傳輸層級程式碼）到投片（完成的設計送往製造）之間僅隔了九個月。

這是一個快速的時間表，但專家認為，隨著 LLM 的進步並更深入地整合到晶片設計工具中，這個時間表很快就會顯得緩慢。OpenAI 對此機會感到樂觀。「這些模型賦予了我們的工程師超能力，」OpenAI 硬體副總裁 Richard Ho 表示。「我們的工程師仍然主導著工作。他們仍然是最終的仲裁者。但他們可以更快地完成事情。他們可以探索更多的路徑。」

Ho 表示，設計 Jalapeño 的團隊在整個專案期間平均不到 100 人，目前仍維持約 100 人，團隊正著手進行第二代和第三代設計。這個數字包括了硬體團隊的廣泛職位，從系統設計到軟體和供應鏈，但不包括與 OpenAI 合作的 Broadcom 公司人員。

OpenAI 和 Broadcom 之間的勞動分工大致分為設計和實施。OpenAI 的團隊負責端對端的系統設計，包括推論加速器、記憶體層級結構和網路。Ho 表示，Broadcom 負責「從閘級開始的實體設計」。與 Broadcom 的合作減弱了一些對 OpenAI 速度的看法。代理晶片設計新創公司 Verkor.io 的共同創辦人 David Chin 表示，「他們給我們的時間表相當可信」，但他認為 Broadcom 的協助對 Jalapeño 的快速時間表至關重要。「如果你讓別人從頭開始，這是不可能的。」他說。Verkor 的另一位共同創辦人 Ravi Krishna 稱 OpenAI 的速度是「一個相對令人印象深刻的結果」，但他補充說，他預計如果今天開始這個專案，LLM 能力的提升可能會帶來更快的時間表。

加州大學聖地牙哥分校的傑出教授 Andrew Kahng 也認為 OpenAI 的速度值得注意，稱其「可能是當今業界最佳」。Kahng 回憶起 2016 年他共同組織的一次 IEEE 設計自動化未來研討會。該研討會包括當時在 Google 擔任工程師的 Richard Ho 作為主題演講者。Ho 對設計自動化有強烈的看法，並將完成晶片設計所需的時間定義為團隊每天能完成的迭代次數的函數。

馬里蘭大學帕克分校半導體倡議與創新總監 Ankur Srivastava 表示，「晶片設計中的自動化本身已經存在了幾十年。這不是一個新問題。」然而，LLM 與先前自動化工具的不同之處在於它們理解語言和程式碼的能力。他說，這使得它們特別適合「仍然處於問題語言領域」的晶片設計任務。

OpenAI 的團隊設計了一個利用這種優勢的工作流程。OpenAI 的前端工作流程圍繞著 Accelerated Hardware Synthesis (XLS) 構建，這是一個最初在 Google 開發的開源高階合成工具鏈。高階合成是一種晶片設計自動化形式，允許工程師在更熟悉的程式設計環境中設計晶片。在 XLS 的情況下，晶片設計師可以使用 DSLX（一種受 Rust 啟發的領域特定語言）和 C++ 等語言進行編寫。XLS 然後將這些語言轉換為 Verilog，這是一種用於描述電子系統的硬體描述語言。

OpenAI 的技術人員 Chris Leary 表示，「我們一直在思考如何利用 AI 來加快專案進度，而 AI 在軟體相關的事情上表現得更好。」「XLS 在某些方面看起來像軟體，所以它獲得了這個好處。」Leary 對 XLS 的功能極為熟悉也有所幫助，因為他在 Google 工作期間就啟動了它。

Kahng 同意，利用 AI 加速高階合成（如 XLS）的決定是有道理的，因為它「對 LLM 來說更自然」，並提供了快速迭代的機會。「我認為這是一個普遍有用的工作流程，而且它在未來「具有發展潛力」，」他說。

同樣的邏輯也促使 Jalapeño 團隊專注於軟體優化。當第一批晶片於 5 月從晶圓廠回來時，團隊將其內部 AI 模型用於設計軟體來運行 SemiAnalysis 的 InferenceX 等基準測試。在 DeepSeek 的多頭潛在注意力核心基準測試中，效能從理論上限（由晶片的運算和記憶體頻寬決定）的 0.31% 上升到 88.94%，耗時約 40 小時。Ho 表示，這個結果是可重複的，因此從晶圓廠交付第一批晶片到生產啟動之間的時間可以縮短。「我們所有的時間表假設都將基於我們現在擁有這種能力的基礎，」他說。

Jalapeño 設計用於部署在包含 2,048 個晶片的機架中。OpenAI

雖然 Ho 和 Leary 事先預測了 Jalapeño 團隊 AI 輔助工作流程的大致輪廓，但 OpenAI 模型的一些進步確實帶來了一些驚喜。

Leary 表示，該專案最初得到了像 OpenAI 的 o3 等模型的協助，該模型於 2025 年 4 月公開發布（但 Jalapeño 團隊更早就能使用）。然而，到專案結束時，團隊已經可以使用 GPT-6 Astra 的前身模型，該模型直到 2026 年 9 月 3 日才公開發布。Leary 說，較新的模型可以直接處理 Verilog，而無需 XLS 將普通程式語言翻譯過來，並且接近於能夠獨立操作專有設計工具。

Ho 也證實，該團隊可以使用針對晶片設計進行微調的內部 LLM，這些模型並未公開。他拒絕詳細說明使用的模型。然而，他補充說，Jalapeño 團隊與 OpenAI 的研究團隊合作。雖然用於設計 Jalapeño 的所有特定模型並非全部公開，但 Ho 表示，目標是將該專案的經驗教訓融入公司商業 LLM 中。「可以肯定地說，Astra 及後續模型在晶片設計方面將非常出色，」他說。

如前所述，OpenAI 在 Jalapeño 上的大部分工作集中在晶片設計的「前端」，這包括從初始概念、編寫定義設計的 RTL 程式碼，到驗證設計在物理實現後是否能正常工作的任務。大部分「後端」設計——包括佈線互連、完成和驗證時鐘和電源規格，以及將所需的設計資訊發送給晶圓廠等任務——都交給了 Broadcom，由其負責生產。

這並不是說 OpenAI 的工作流程忽略了後端。Jalapeño 團隊包括實體設計工程師，他們與 Broadcom 的對口人員合作，就晶片的佈局和佈線等提供指導。在 IEEE Hot Chips 2026 上，Ho 和 Leary 量化了 AI 指導的實體設計優化所帶來的收益，與優化後的人工基準相比，矩陣乘法單元的面積減少了 10%。換句話說，OpenAI 聲稱 AI 指導的優化有助於在相同面積的矽片上設計比以前更多的電路。

Broadcom 使用了自己的內部工作流程。該公司的團隊無法存取 OpenAI 用於協助設計 Jalapeño 的內部模型，但他們可以使用 OpenAI 的公開商業模型。

Verkor 的 Ravi Krishna 表示，OpenAI 在後端設計方面的做法已經顯得有些保守。他認為這是該專案（於 2024 年 10 月開始）發生時間的結果。「過去四到五個月的模型有了很大的進步。從 2026 年 4 月開始……他們才真正開始能夠更好地處理這些任務。」Verkor 共同創辦人 Suresh Krishna 同意說，「沒有理由不能有一個代理循環，也能在很大程度上加速後端流程。」

Ho 和 Leary 也暗示，用於設計 Jalapeño 的工作流程與團隊的下一個專案相比，可能顯得過時。

Leary 表示，「正如您想像的那樣，在 [Jalapeño] 中，我們試圖盡可能快地進行。所以存在權衡——是我們想花時間進行一些創新，還是做一些我們知道歷史上有效的事情？」「對於第二代，我們有機會重新開始，思考我們想為之準備的所有事情。」

Ho 表示，第二代晶片的工作流程「我們引入了 [AI] 的許多地方。」他提到了在驗證和實體設計方面進行更多 AI 應用的機會。Leary 補充說，該團隊現在擁有自動波形處理和查看工具。這可以自動化分析，識別與故障相關的晶片時鐘信號，並可以在硬體仍在設計時改進其調試。「儘管有這些預期的改進，Ho 和 Leary 清楚地表示，他們不認為晶片設計可以完全自動化。「我們並不是說任何人都可以僅僅使用 [OpenAI 的編碼平台] Codex 來構建最先進的邊緣 AI/ML 加速器晶片，」Ho 解釋道。「我們正在就如何更好地使用 Codex 提出一些非常具體的說法，以及我們如何專注於一個小團隊和快速的時間表來達到高質量的結果。」