ProgramBench：語言模型能否從零開始重建程式？

大型語言模型（LLM）在程式碼生成領域的進展令人矚目，但它們能否真正從零開始重建程式，仍是一個值得深入探討的問題。本文介紹了 ProgramBench，一個旨在評估 LLM 在程式碼重建能力方面的基準測試框架。

ProgramBench 涵蓋了多個面向，包括理解自然語言描述的需求、生成功能正確的程式碼、進行程式碼除錯以及優化程式效能等。透過一系列精心設計的測試案例，研究人員得以量化 LLM 在不同程式開發階段的表現。

初步的研究結果顯示，現有的 LLM 在處理簡單的程式碼生成任務時，已能展現出一定的能力。然而，當任務的複雜度增加，需要處理更抽象的概念、複雜的演算法或多模組的互動時，LLM 的表現便顯著下降。這表明，儘管 LLM 在模式識別和語法生成方面表現出色，但在深層次的邏輯推理和系統設計方面仍面臨挑戰。

研究強調，雖然 LLM 在輔助程式開發方面具有巨大潛力，例如自動生成樣板程式碼或提供除錯建議，但要實現完全自主的程式重建，仍需在模型架構、訓練數據和推理能力等方面取得重大突破。