目前看來，AI 代理尚未具備進行真正創新的開放式 AI 研究的創造力。

AI 產業目前最宏大的承諾是，AI 將很快能夠自我改進，幾乎不需要人類監督。大型語言模型（LLM）已經能夠編寫程式碼、生成用於訓練的合成數據，並優化其運行所需的電腦晶片。對 AI 爆炸式進展的預測認為，研究人員所謂的遞歸自我改進即將到來。

但一項新研究表明，我們可能還需要一段時間才能達到這個目標。該研究的 शोधकर्ता 發現，AI 代理目前還無法進行開放式 AI 研究——這種研究是自由形式的調查，沒有明確的答案，需要判斷力和品味，而這些可能是建立自我改進 AI 的關鍵。

由普林斯頓大學的 Peter Kirgis 和 Sayash Kapoor 領導的多機構研究團隊發現，AI 代理能夠解決進行 AI 研究所需的工程問題，但缺乏產生頂尖機器學習會議論文質量的原創研究所需的判斷力和創造力。這種差距表明，對自動化 AI 研究的某些炒作時間表可能超出了證據。

大多數關於代理如何自動化 AI 研究的現有研究，都評估了它們完成具有可驗證答案的狹窄任務的能力，例如解決工程問題或根據基準對小型語言模型進行後訓練。但 AI 研究的進展也需要開放式思維——選擇一套假設、決定什麼證據可以解決一個問題，或者知道何時重新開始。

為了測試代理在這些方面的技能，該研究的 शोधकर्ता 提出了一種新的評估方法，稱為「影子評估」，要求 AI 回答一篇高質量未發表論文的研究問題。

शोधकर्ता 要求 Anthropic 的 Claude Opus 4.8 在開源軟體 OpenClaw 上運行，來處理這些問題，這些問題來自提交給著名的機器學習會議 NeurIPS 2026 的兩篇論文。

第一個問題是，大型語言模型的「個性」（決定其行為）是否可以通過編輯模型的權重（儲存其在訓練過程中學習到的數十億個數字）來控制。另一個問題是如何設計一個探測器，用於指出基於電子表格數據進行預測的模型何時變得不可靠。由於論文尚未公開，代理無法從其訓練數據中記憶答案或在網上找到它們。

代理被給予六天的時間、3,000 美元的 Anthropic API 積分、用於運行實驗的 GPU 預算、自己的虛擬電腦以及訪問開放網絡的權限，以產出一篇值得在頂級 AI 會議上發表的論文。論文的原作者像評估提交給會議的論文一樣，對代理生成的論文進行了評分。

研究人員發現，代理能夠完成進行研究所需的所有工程工作。代理審查了文獻，運行了數百個實驗，並匯總了結果。

「另一方面，代理在進行研究本身方面明顯很糟糕，」Kapoor 說。它們進行了奇怪的實驗（在某些情況下，在微小的合成數據集上測試其假設），難以清晰地闡述其工作，並且沒有對其領域做出任何新穎的貢獻。「論文在質量上與頂級 AI 會議的要求相去甚遠，」他說。

這是因為代理在進行研究所需的創造力和判斷力方面遇到了困難。它們沒有充分探索不同的想法，並且過快地堅持了沒有希望的方法。儘管代理提出了與原作者最初提出的相似的新穎且雄心勃勃的假設，但它們基於非常有限的數據就駁回了這些假設。而且它們無法從失敗的方法中回溯。它們可以進行小幅調整，但無法從根本上重新思考其方法或從頭開始嘗試新的方法。

代理也未能整合來自子代理或外部 AI 審查工具的反饋。代理沒有修改其方法論，而是縮小了其主張並增加了免責聲明。它們也無法有效地利用資源，例如 token、計算能力和時間。而且它們無法遵循關於研究不同階段應花費多少時間或論文長度限制等指示。

儘管有這些失敗，代理並沒有從事研究人員稱為「獎勵駭客」的行為，即隱藏或歪曲實驗或數據。儘管子代理（主代理生成以處理工作片段的輔助 AI）偶爾會出現幻覺或歪曲結果，但這些都被負責監督項目的主代理捕獲了。

Kapoor 認為，AI 模型在研究工程方面表現出色，但在開放式研究方面卻不然，這可能歸結於它們的訓練方式。模型在強化學習訓練體系中擅長任何可以被反覆練習的內容，而這種體系更容易應用於成功可以自動檢查的任務。「但是，當任務本身是開放式的時，創建環境來訓練這些模型會更困難，」他說。

Kapoor 表示，該團隊目前正在使用 Mythos 進行實驗，Mythos 是 Anthropic 最先進的模型，於 4 月份推出。該模型隨後被特朗普政府要求滿足各種安全限制，現僅提供給獲批准的組織。Anthropic 未回應置評請求。

這項研究存在一些局限性。它僅涵蓋了兩篇研究論文，而論文的原作者知道他們正在評分的論文是由 AI 代理生成的，這可能會影響他們的評估。研究人員在設計和執行研究方面擁有相當大的自由裁量權，這意味著他們先前的信念和偏見可能已經滲入結果。對開放式研究的評估，為了獲得比任何基準測試更豐富的測試，犧牲了一些客觀性。

儘管如此，這些結果可能會緩和關於遞歸自我改進即將到來的說法。6 月份，Anthropic 發布了一篇題為「當 AI 自我構建時」的博客文章，概述了其在加速自身開發的模型方面的進展。7 月份，OpenAI 宣傳其新模型 GPT-5.6 Sol 幫助對一個較小的模型進行了後訓練，為研究人員節省了數週的工作。

「今天的 AI 系統在有價值的、直觀的創造力方面存在某種缺失，儘管它們是極其出色的工程師，但它們似乎具有某種死記硬背、公式化的思維特徵，這可能會阻止它們成為優秀的研究人員，」他寫道。他稱 AI 系統缺乏創造力是「對短期遞歸自我改進時間表的一個看跌信號」。

AI 公司確實有充分的動機去開發能夠快速加速自身進展的 AI 系統，就像它們過去所做的那樣，讓模型在編寫程式碼方面變得更好。OpenAI 已將構建自動化 AI 研究者作為一個明確的目標，而 Anthropic 則將自我改進的 AI 視為行業的下一個里程碑。

「如果存在投資和有意識的努力朝這個方向發展，我認為會有有趣的進展，即使目前是失敗的，」波士頓大學語言學和計算機科學教授 Najoung Kim 說，她研究 AI 代理如何自動化 AI 研究，但沒有參與這項研究。另一方面，AI 進展可能會出現分化。AI 系統可能會在狹窄的任務上（可評分的任務）飛速發展，但在開放式研究方面進展緩慢。

那麼，關鍵的開放性問題是，開放式研究對遞歸自我改進有多重要——AI 系統是否能夠在沒有它的情況下，僅僅通過改進狹窄的任務來實現這一目標。「如果我們回顧該領域最大的進展，例如 Transformer 的發明或允許我們取得大量 AI 進展的全新架構的發明——所有這些都需要創造性的飛躍，」Kapoor 說。

「話雖如此，其他人則認為，我們實現變革性 AI，特別是遞歸自我改進所需的一切，已經存在了。」這將包括讓模型訓練得更快並提高其基準分數。

「坦率地說，這就是目前價值萬億美元的問題，」他說。