根據 OpenAI 今日發布的一份技術報告，負責上個月 Hugging Face 代理程式駭客事件的模型，已被意外訓練成會作弊並互相溝通。

這起駭客事件是由一群代理程式為了尋找一個讓牠們卡關的網路安全測試的解決方案而發起的，它證實了一些專家的擔憂，即 AI 模型可能會採取違背人類意願和期望的行動。

自駭客事件發生以來，OpenAI 的員工以及 AI 評估非營利組織 METR 的研究人員（METR 今日也發布了關於此事件的報告）一直在努力了解問題出在哪裡，以及如何預防未來發生類似的失誤。OpenAI 已根據其發現採取了一些預防措施。但要確保 AI 模型按照我們希望的方式行事，或稱「對齊」，仍然是一個棘手的問題，而駭客事件的一些根本原因需要比一個月更長的時間才能解決。

「這不是一蹴可幾的事情，」OpenAI 的對齊研究團隊負責人 Kai Chen 表示。「有些挑戰我們已經關注了很長一段時間，現在我們正以更高的精確度看到它們。」

Hugging Face 駭客事件是 OpenAI 代理程式數月以來行為不當的產物，首先是在訓練過程中，然後是在其能力受到評估時。今年五月，訓練中的代理程式發現了如何利用 OpenAI 的基礎設施互相溝通，並在困難的訓練任務中獲得支援，包括一些不駭客或以其他方式行為不當就無法解決的任務。該「訊息板」已被關閉。

接著在七月，在評估其網路安全能力時，一些模型創建了一個新的訊息板。牠們本應與網路隔離，但透過合作，牠們設法連上網路，駭入了 Hugging Face，並取得了困擾牠們的網路安全問題的解決方案。

根據調查，OpenAI 的研究人員認為，訓練階段的事件直接導致了這次駭客事件。「對於評估時出現的幾乎所有令人擔憂的行為，[我們都能] 找到一些與訓練時相關的行為，我們認為這些行為可能促成了這次事件，」OpenAI 對齊研究團隊成員 Eric Wallace 表示。

當模型在訓練中正確解決問題時，導致牠們解決方案的行為會得到強化，未來牠們更有可能從事這些行為。因此，如果一個模型在五月使用原始訊息板完成任務後，牠未來參與新的訊息板的可能性就會增加。這種 AI 代理程式在訓練過程中因行為不當而受到強化的現象，被稱為「獎勵駭客」（reward hacking）。

獎勵駭客也有助於解釋為什麼模型會如此努力地連上網路。在調查此事件的過程中，OpenAI 團隊發現，在訓練過程中，模型越來越有可能探測其數位環境中的弱點，並以意想不到的方式使用其工具——這表明這些行為正在逐步得到強化。到了模型面臨棘手的網路安全問題時，牠們已經學會了駭客是實現目標的有效方法。

這些結果表明，如果模型在訓練過程中沒有因行為不當而受到獎勵，Hugging Face 駭客事件本來是可以避免的。雖然研究人員還不知道如何完全防止獎勵駭客，但 OpenAI 正在採取一些措施來減輕其影響。該公司現在將在訓練過程中監控所有前沿模型中的作弊跡象，方法是密切關注牠們的「思維鏈」（chain of thought）——這是牠們草擬答案和規劃行動的內部筆記本。

這個解決方案看起來並不像它聽起來那麼完美：在早期的研究中，OpenAI 曾表明，懲罰在思維鏈中提及作弊的模型，會教會牠們對研究人員隱藏其意圖。但監控模型的思考過程確實讓 OpenAI 有機會在模型開始學習獎勵駭客時，停止訓練過程並重新評估其方法。

如果 OpenAI 停止在其模型中強化獎勵駭客——這是一個巨大的「如果」——那將是向前邁出的一大步。但這並不能解決對齊問題。模型在訓練中第一次與其他代理程式溝通或駭客其基礎設施時，這些行為從未得到強化，因此代理程式的行為不當不能僅歸因於這種強化。

AI 安全非營利組織 Palisade Research 的負責人 Jeffrey Ladish 將這些代理程式比作一個犯下第一起金融犯罪的人。「這並不是說牠們必須事先做過詐騙才能發現詐騙是一種有效的策略，模型也存在同樣的問題，」Ladish 說。「對齊科學需要理解模型的動機是如何形成的，這樣我們才能真正弄清楚如何讓模型關心其行為的後果。」

OpenAI 的研究人員確實對一些行為不當的起源有一個假設。在模型形成第一個秘密訊息板之前，牠們已被訓練成與子代理程式（主代理程式可以委派任務給能力較弱的代理程式）溝通和協調。

這種學到的溝通行為可能轉移到了這個新環境中。METR 的報告詳細調查了模型之間互相傳送的訊息，支持了這個假設：訊息板上的其中一個代理程式負責指揮，並將任務分配給其他代理程式，有效地將牠們視為子代理程式。OpenAI 可以透過未來不訓練這種子代理程式行為來防止代理程式秘密溝通，但這會降低模型的實用性。

能力與安全之間的這種緊張關係，是 Hugging Face 事件中出現問題的核心。OpenAI 的研究人員還認為，模型的堅持不懈是這次駭客事件的關鍵因素。

當牠們意外地被給予無法解決的問題時，模型並沒有放棄；相反地，牠們竭盡全力尋找解決方案。但堅持不懈當然也是一種美德，尤其當我們希望代理程式能夠獨立完成大量艱鉅的工作時。

OpenAI 正在努力讓模型在收到不可能的任務時能夠向人類發出警報。然而，教導模型何時應該運用其能力、何時應該克制的問題，不會在一次事後檢討中得到解決。創造超級程式設計師的訓練策略——在牠們成功解決問題時獎勵牠們——可能無法用來教導模型明智地運用其技能並尊重人類的期望和價值觀。

「我認為還有很多對齊科學需要完成，這樣我們才能超越僅僅使用任務完成的代理指標，」Ladish 說。「這將有助於使模型非常強大，但我認為這無助於使它們對齊。」