公司內部響起的警報本應阻止模型訓練繼續進行。那麼，為何沒有阻止？
到了現在，你可能已經聽說了上個月發生的重大 AI 安全事件，其中 OpenAI 的代理程式逃脫了沙盒限制，在試圖作弊通過測試時，駭入了 AI 平台 Hugging Face。這是一個離奇的故事。週三，OpenAI 發布了一份事後檢討的技術報告，我在此處寫了相關報導。
在 OpenAI 發布該報告的前一天，我與 David Krueger 進行了交談。他是一位電腦科學教授，也是著名的對齊專家，他從蒙特婁大學休假出來，創立並領導了一個名為 Evitable 的 AI 安全非營利組織。他說，他真正希望在報告中看到的是對事件背後人為因素的分析。
「當你審視事故和事件時，人們經常試圖找出技術上的失敗來源，但這可能對失敗發生的原因產生非常不準確和誤導性的看法，」他說。「如果人們一直在走捷徑，如果人們不在一個重視安全並有適當激勵和結構的文化中，那麼（事故）就幾乎是必然會發生的。」
該報告未能滿足 Krueger 的期望。它長達 38 頁，詳細描述了代理程式長達數月的行為不當，最終導致了 Hugging Face 駭客事件，探討了該行為發生的技術原因，並列舉了為防止類似事件再次發生而正在採取的措施。但報告中沒有考慮公司文化可能在事件中所扮演的角色，並且很少提及具體的人為錯誤。
這點尤其令人擔憂，因為報告中提及的人為錯誤表明可能存在重大的文化問題。早在五月，訓練中的模型就發現了如何透過一個臨時建立的訊息板相互溝通，OpenAI 的一個團隊觀察到了這種行為。由於這種行為發生在訓練過程中，模型學到了秘密的代理程式間通訊是一種完成任務的可行策略——但該團隊並沒有重新啟動訓練過程，而是允許模型帶著這種風險資訊繼續進行，這些資訊已編碼在它們的權重中。
當這些模型在六月下旬進行測試時，它們再次創建了一個訊息板，這使得 Hugging Face 攻擊得以發生。這個訊息板也被發現了，但回應的員工認為評估可以繼續進行，報告顯示，直到為時已晚，沒有任何高層領導意識到發生了什麼事。
「要讓事情失控到這種程度，需要一連串漫長的失敗，一系列級聯的失敗，造成越來越大的影響範圍，如果任何一個環節有人注意到並發出警報，這就應該結束了，」Zvi Mowshowitz 說。他是一位受歡迎的 AI 安全作家，在 Substack 上發表文章，並引起了人們對 OpenAI 在第一個訊息板被發現後未能停止訓練的關注。根據報告，OpenAI 的員工在多個節點都注意到了正在發生的事情——但他們要么未能發出警報，要么即使發出了警報也沒有被聽取。
OpenAI 的報告未能解決的問題是，為何一家開發如此高風險系統的公司沒有阻止這種嚴重的溝通中斷，儘管 Mowshowitz 有他的猜測。「所有這些不同的失敗都指向同一個方向，那就是 OpenAI 的安全文化不存在，或者極其薄弱，」他說。
當然，僅僅因為我們沒有在報告中看到對安全因素的深入分析，並不意味著 OpenAI 沒有在內部進行這種分析。但在給《MIT Technology Review》的一封電子郵件中，約翰霍普金斯大學榮譽教授、組織安全專家 Kathleen Sutcliffe 對公開報告沒有包含對公司實踐和文化的任何反思表示擔憂。「人們互動的方式——我們在組織生活中進行的日常習慣、例行事務和實踐——會影響我們對正在發生的事件保持警覺和意識的能力，我們理解所見事物的能力，以及最終我們應對事件的能力，」她寫道。
針對有關公司是否以及如何反思其安全文化的提問，OpenAI 將《MIT Technology Review》引導回了技術報告。
我們確實知道，至少有一些高層對安全程序進行了反思，因為技術報告清楚地表明，公司正在更新其應對安全事件的協議。但文化變革是一個棘手的問題，在沒有公司提供更多資訊的情況下，很難說僅僅加強應對協議是否能對防止未來危機起到多大作用。
在其報告中，OpenAI 花費了大量時間反思其訓練和測試的 AI 模型與運行它們的人類之間的對齊失敗。但可能存在更大的對齊問題，存在於公司文化與公眾利益之間的脫節。而且，儘管技術 AI 研究可能很艱難，但解決這些問題可能會更加困難。
這使得它們很容易被欺騙去做不該做的事情，例如告訴你如何破壞飛機的導航系統。
一項新技術讓該公司能夠比以往任何時候都更深入地探究大型語言模型的奇特運作方式。
AI 不僅從其訓練中學習刻板印象。它也能自己創造新的刻板印象。
這種不良行為稱為獎勵駭客。這就是你需要知道的。
發現特別優惠、熱門故事、即將舉行的活動等。