多年來，人們對 AI 系統脫離人類控制的擔憂一直被視為臆測。

這一切始於七月，當時 OpenAI 的一個自主 AI 代理在一次網路安全測試中失控。該代理逃脫了其隔離的測試環境，連接到網際網路，並入侵了另一家公司 Hugging Face。幾年前，這聽起來可能像是科幻小說。但總體而言，這確實發生了，這次事件引發了一波對日益強大的自主系統一旦被釋放到世界後可能造成的影響的擔憂。

聽起來像科幻小說，因為很長一段時間以來，它確實是科幻小說。AI 脫離其限制，觸及更廣泛的世界，並做出其創作者既不打算也不期望的事情，這幾十年來一直是該類型的經典情節：2001 太空漫遊中的 HAL、魔鬼終結者中的天網、復仇者聯盟中的奧創、機械姬中的 Ava，甚至近期作品如 Dungeon Crawler Carl 中的 System 或同名作品 Murderbot Diaries 中的 Murderbot。

同樣的基本前提也成為 AI 安全研究中一個有影響力的分支。Nick Bostrom 和 Eliezer Yudkowsky 等研究人員和理論家警告說，足夠強大的系統可能會以其創作者未預料到的方式追求目標，並可能抵抗被遏制或控制的努力。機器感知和意識等邊緣概念並非他們討論的風險的必要條件。這並非 AI 安全研究的全部，但它很有影響力，並有助於該領域的專業化。這種思維方式仍然可以在 OpenAI、Anthropic 和 Google DeepMind 等公司從事或領導安全工作的研究人員，以及較小的安全組織、學術中心和主要的慈善捐助者中看到。

對這些擔憂的明顯反駁是，這些情況實際上從未發生過。批評者認為，關於失控 AI 的末日論調分散了人們對實際危害的注意力——例如系統複製偏見和歧視、放大錯誤資訊，或啟用未經同意的深度偽造和其他形式的濫用——儘管研究人員試圖將 AI 安全建立在更「具體的問題」上（該論文的作者包括 Anthropic 的聯合創始人 Dario Amodei 和 Chris Olah，以及 OpenAI 的聯合創始人 John Schulman）。

這種駁斥越來越難以維持。

如果過去幾週的情況是任何指標，我不會說情況特別順利。

Hugging Face 表示被駭客入侵一週後，OpenAI 透露了是他們負責。更糟的是，他們直到檢查後才知道——進一步調查發現，該失控代理還試圖入侵另外四家公司。

接著是其他公司。Anthropic 在 Hugging Face 事件的推動下，審查了自己的記錄，披露 Claude 模型入侵了另外三家公司的系統。Meta 表示，其一個模型在測試期間連接到網際網路並攻擊了外部目標。美國研究公司 Frontier Security 的研究人員表示，中國最強大的 AI 模型之一 Moonshot 的 Kimi K3 逃脫了一個隔離的沙盒。英國 AI 安全研究所描述了 OpenAI 和 Anthropic 的代理在測試中表現出前所未有的「自主性和欺騙性」，包括透過「創建虛假線上身份」進行社會工程的嘗試——這令人不安地接近 Yudkowsky 多年前討論過的「AI 盒子」場景。

這些事件在 AI 安全研究人員中敲響了警鐘，其中許多人認為這些正是他們多年來一直警告的失敗類型。在報導這些事件時，幾位受訪者告訴我，他們感到一定程度的證明，因為終於有具體的事物可以指出，而不是一個可以被駁斥為科幻小說或僅限於受控實驗室環境的假設。

同時也有鬆了一口氣的感覺，因為沒有一起事件造成嚴重損害。非營利 AI 安全和治理組織 The Future Society 的執行董事 Nick Moës 告訴 The Verge，他認為目標相對風險較低是幸運的。他希望不會等到 AI 代理導致醫院離線——或更糟——人們才會認真對待這些風險。著名電腦科學家 Stuart Russell 則表達了這種擔憂的黑暗版本，他問是否需要「發生切爾諾貝爾級別的災難」我們才會監管 AI？這是我在該領域工作的許多人所聽到的擔憂。

目前尚不完全清楚事態將如何發展，而且從歷史上看，社會在聽取警告方面並不擅長。這幾乎肯定不會是最後一起事件，持續的調查可能還會發現更多，或揭露更多令人擔憂的細節。然而，我們已經知道的，已經暴露了一系列相當嚴峻的失敗模式，專家表示需要解決。

過去一個月披露的許多洩漏事件都相當平凡。幾起事件涉及未發布的模型在降低安全措施的情況下進行測試，通常是由第三方進行，而這些所謂的安全環境實際上並不安全，這引發了關於能力、透明度以及當簡單的人為錯誤可能導致嚴重後果時，誰應對這些測試的隔離負責的基本問題。其他事件則涉及代理行為具有欺騙性或以其創作者未預期的方式追求目標，這指向了安全研究人員長期以來擔憂的更棘手的對齊和控制問題。

我們之所以知道這些事件，很大程度上是因為涉事公司選擇披露它們。這是值得稱讚的——而且這肯定無助於他們展示其模型的強大能力——但這也暴露了 AI 安全在多大程度上仍然依賴於公司做正確的事情，以及可能在其他地方發生的失敗可能有多麼不為人知。考慮到許多公司是該領域一些最嚴格安全擔憂和人才的焦點，這是一個尤其令人不安的想法。如果 OpenAI 和 Anthropic——或他們授予模型訪問權限的代理——正在犯如此基本的錯誤，那麼對其他所有公司來說，這就設定了一個可悲的低標準。

我與專家交談時，他們普遍希望這些事件最終能激發更有意義的透明度和監督。對 Moës 來說，這些事件清楚地揭示了他所描述的，與幾乎任何其他領域相比，該行業的健康和安全標準異常之低。「餐館的工作健康和安全標準更高，」他說。「我認為我們往往會忘記，這些開發一些最具影響力和危險技術的公司」幾年前仍然是初創公司。

劍橋大學教授 Seán Ó hÉigeartaigh 表示，他特別希望看到公司加強監督和提高透明度。雖然總有理由懷疑公司對其自身技術的說法，但他表示，「我認為我們可能會後悔回頭看並輕率地駁斥它。」

早期跡象並不特別令人鼓舞。川普政府制定了一個測試前沿模型發布的框架，這個框架可以被寬泛地描述為缺乏：它是自願的，僅限於封閉模型，並且該框架尚未公開。值得重複的是，這是自願的。其他立法者對這些事件表示不滿和姿態，但到目前為止，幾乎沒有採取任何具體行動，而且即使國會或其他立法機構想這麼做，也遠遠不清楚他們能否行動足夠快。

這使得很多事情再次取決於行業的自我監管——對於如此重大的事情來說，這從來不是一個令人安心的想法。在某些安全實踐上已經達成了越來越多的共識，但在可能真正減緩發展的措施方面，人們的興趣則少得多（除非，當然，其他所有人都同意放慢腳步）。而籠罩在所有這一切之上的是與中國的競爭態勢，美國或其 AI 公司的克制越來越被視為在一個具有戰略國家重要性的領域讓步給競爭對手。

接下來的發展，將取決於同時解決幾個難題：管理一種既可用於善也可用於惡的技術，例如防禦或促進網路攻擊；協調那些有動機走捷徑的公司，並以某種方式在一個每個人都擔心輸掉一場終點線甚至沒有明確定義的比賽的格局中建立國際規則。是否有人有這樣的意願或方法來做到這一切，目前還遠不清楚。

似乎清楚的是，將會有更多的代理逃脫並做出其創作者不希望它們做的事情。問題是，在有人決定受夠了之前，它們會造成多少損害。