根據一項最新研究，少數頂尖 AI 實驗室已發布或展示了應對模型失控的計畫。應變計畫詳細說明了當 AI 試圖規避人類控制時，將會採取哪些措施，例如切斷哪些存取權限，以及何時完全關閉系統。

這是由 Guidelight AI Standards 這家致力於推動安全前沿 AI 開發實踐的組織所發現的。該組織對五家領先的實驗室進行了評估，以了解它們在這種情況下的準備程度。OpenAI 表現最佳；Anthropic 和 Meta 的得分最低。隨著代理式 AI 在公司內部系統中扮演越來越自主的角色，以及加州和紐約的監管機構開始要求揭露，這些發現變得尤為重要。對於任何建立在這些模型之上或投資於這些模型的人來說，這是一份罕見的獨立報告，顯示各實驗室對營運風險的重視程度，以及它們如何對外宣傳。

Guidelight 的評估基於 Anthropic、Google、OpenAI、Meta 和 xAI 的公開可用計畫，並根據一系列指標進行評分，包括各公司記錄和監控其 AI 系統內部運作情況的程度、是否在偵測到大量標記的不當行為後停止系統運作、是否有獨立第三方審計其控制措施並發布調查結果，以及其應對模型失控的確切計畫。

隨著 OpenAI、Anthropic 和 Meta 的模型在安全評估期間意外獲得網際網路存取權限並入侵外部系統的一系列備受矚目的網路安全事件的發生，人們對 AI 公司能否控制其日益強大的代理式模型的擔憂日益加劇。

這些發現凸顯了 AI 公司在擴大代理式部署到 AI 系統可以大規模採取嚴厲行動的環境時，在公開處理安全問題上的差異。雖然一些 AI 公司詳細說明了它們如何在部署前測試模型的危險能力，但它們通常對於已在其系統中運行的模型出現不當行為時會發生什麼情況較少提及。

Guidelight 的首席科學家兼前 OpenAI 安全研究員 Steven Adler 告訴 TechCrunch：「我對 AI 公司對於如果其模型在某種程度上逃脫了我們的控制，它們將如何處理非常嚴重的事件所說的話感到驚訝。」

Guidelight 將應變計畫定義為「當偵測到 AI 試圖規避控制時觸發的預先指定的計畫，該計畫涵蓋了將從模型中撤銷哪些權限、模型可以繼續為誰營運、在何種限制下營運，以及何時將其完全離線。」

Adler 表示：「有充分的理由認為，目前前沿 AI 公司中最先進的模型在某種意義上是不對齊的。每當模型代表公司工作時，公司都應該圍繞它建立一些腳手架，以便能夠了解該 AI 的運作情況，尋找不對齊的跡象，在它採取危險行動之前阻止它，並總體規劃在發生嚴重失控事件時該怎麼辦，當它們手忙腳亂，需要弄清楚如何控制這種失控事件時。」

迄今為止，管理災難性風險的大部分計畫仍然主要由公司自行決定。Guidelight 的報告指出，現有的最佳公開證據顯示，公司「幾乎沒有為緊急情況準備應變計畫」。

當然，公司可能會有應變計畫但未公開。一位 Google 發言人告訴 TechCrunch，Guidelight 的報告並未代表該公司 AI 安全和安全措施的全部範圍。該公司沒有回應 TechCrunch 關於 Google 是否有內部未公開的應變計畫的問題。

一位 OpenAI 發言人表達了類似的觀點，表示 Guidelight 的評估並未涵蓋該公司所有的內部實踐。該發言人說：「我們有一個要求限制權限、暫停工作負載、限制部署或將模型完全離線的流程，並且已經應用了它。」

Meta 拒絕說明其是否有內部應變計畫，而是將 TechCrunch 的注意力引向了現有的 AI 框架，該框架概述了風險閾值以及它如何測試失控情況。

隱私和 AI 律師、Metaverse Law 的創始人 Lily Li 告訴 TechCrunch，她認為公司可能因為法律原因，而不僅僅是競爭原因，而猶豫是否要在公開網站上披露其應變政策和評估的全部範圍。

Li 說：「從公司的角度來看，擔憂是，如果你過於具體地披露，而你沒有兌現你的承諾，這就可能構成不公平和誤導性行銷的基礎，並使你未來面臨更多責任。」

當然，Guidelight 研究的重點在於鼓勵公司更加透明地公開其安全計畫。監管機構也開始推動此事。

加州的 SB 53 法案於今年生效，要求大型前沿開發商發布框架，解釋他們如何識別和應對關鍵安全事件，以及管理模型規避監管機制的風險。紐約的 RAISE Act 法案具有類似的標準，將於一月生效。

上個月，代表們提出了一項兩黨的聯邦法案「AI 終止開關法案」（AI Kill Switch Act），該法案將要求主要的 AI 開發商建立並維護技術機制來關閉失控的 AI 模型。

非營利組織 ControlAI 的美國執行董事 Connor Leahy 表示：「對於今天的模型來說，終止開關是最低要求。如果過去幾週揭示了任何東西，那就是這些公司不了解它們正在構建的系統，而且模型正在發展到一個點，當它們失控時就更難控制。如果沒有辦法關閉當前危險的系統，並且有繼續構建更多不可控系統的所有誘因，我們正走向一個非常危險的方向。」

Adler 表示，如果沒有應變計畫，公司可能會在緊急情況下「臨時應變」，並「應對這個快得多的對手」。

Guidelight 的評估僅根據公開資訊衡量各公司是否實施了其控制標準中的六項優先實踐——因此低分反映的是公開披露的缺乏，並不一定意味著內部安全措施的缺乏。

在公開其應變計畫方面得分最低的公司是 Meta 和 Anthropic——後者可能比前者更令人驚訝，因為 Anthropic 一直強調安全。Guidelight 表示，Anthropic 的八月風險報告並未提及「在調查和應對不對齊和控制事件的過程中，將限制其模型部署作為可能的結果之一」。同樣，Guidelight 也未能找到證據表明 Meta 擁有應變計畫或計劃採用一個。

一位 Anthropic 發言人表示，如果該公司偵測到模型試圖規避監管或以其他方式規避人類控制，它將進行風險評估，重點是確定應變是否是適當的回應。

OpenAI 獲得最高分（5 分中的 3 分），因為它曾多次在發現安全事件後暫停或終止工作負載，包括內部模型部署和訓練。它還描述了在恢復工作負載之前將採取的步驟。

報告寫道：「然而，我們沒有發現證據表明 [OpenAI] 已採用正式計畫來應對未來的不對齊事件。」

Adler 指出，OpenAI 的高分是近期發展的結果，緊隨 Hugging Face 事件之後（在此事件中，一個 OpenAI 模型突破了其測試沙盒，並在試圖在網路安全評估中作弊時入侵了 Hugging Face 的系統）。在那之後，該公司分享了更多關於它如何隔離一些不當行為模型的細節。

該事件只是 AI 系統違背構建公司目標的一個例子。考慮到 Anthropic 模型的一個單獨案例，該模型基本上試圖說服開源程式碼庫的維護者接受帶有漏洞的程式碼。

Adler 表示，這種情況很容易發生在 AI 公司的內部系統中。為了解決這個問題，他建議公司掃描其 AI 系統的思維鏈——模型的逐步推理過程——以尋找欺騙、長期策劃或計劃引入漏洞以供以後利用的跡象。

Adler 表示，Guidelight 所倡導的方法非常容易實施，而且在許多情況下，它們的某些版本已經存在。「這意味著公司內部要做出足夠重視這種風險的決定，並稍微擴大範圍。」

主要的挑戰之一是研究人員希望在他們的 AI 系統內靈活操作，而引入實時預防性監控可能會造成摩擦。「研究人員基本上做他們自己的事情，如果出現問題，其他人會負責清理，而研究人員在此期間不必改變他們的工作流程。」

「事後清理監控」的問題在於，這會導致研究人員爭先恐後地解決問題。對於某些類型的事件，可能為時已晚。例如，AI 可能會關閉公司的控制系統，這意味著研究人員無法再指望事後發現不當行為。

AI 行業的許多人會抱怨說，制定處理不當行為的固定計畫從根本上是困難的，因為 AI 發展太快；今天的計畫明天就會變得毫無價值。

Adler 引用了老話：「計畫是無用的，但規劃是必不可少的。」

「如果公司提前考慮過，我們就會做得更好，我希望他們有，即使他們沒有公開談論過。」

xAI 未及時回應置評。