1963 年初,美國與蘇聯在全面禁止核試驗的立場上,僅有一個數字上的差異。尼基塔·赫魯曉夫提議每年進行三次現場檢查,而華盛頓則要求七次。其他差異依然存在,包括檢查程序和條約措辭。但這個數字差異至關重要:地震學無法始終區分地下核試驗與地震,而檢查既能提供保證,也可能帶來間諜活動的機會。這兩個數字都不是由一位手持地震儀的技術專家提出的。每一個數字都代表著一種政治判斷,關乎其政府應接受多少殘餘的不確定性。談判未能達成全面禁令。同年稍後簽署的條約排除了地下核試驗,而這正是最需要侵入性核查的類別。

這個事件應成為所有現今設計可驗證的先進 AI 限制措施者的必修課。其中最直接的措施是監測用於模型訓練的運算資源。這具有中度的透明度,因為數據中心及其電源是可見的實體基礎設施,一旦確定,便可透過協議強制其提供使用記錄。更進一步的措施是使用加密方法來證明運算硬體的使用方式,而無需透露精確、專有或機密的訓練過程。

本文考慮一種有條件但可行的情況:華盛頓與北京在尖端 AI 上的競爭持續進行,但雙方都重視相互預警,願意接受一些有限的監測。預警比能力上限是較弱的協議,但仍然有用。它允許持續發展,並能降低突襲的成本,而無需任何一方遵守強加的限制。當任何一方都無法確定暫時的技術領先地位能否持久時,這種情況最為可能。

這很有希望,但軍備控制的歷史表明,問題不僅僅在於監測技術能否跟上 AI 的能力。每一個額外的保證措施都可能暴露具有戰略價值的資訊。限制這種暴露的努力會留下殘餘的不確定性。改進的 AI 分析能力既增加了偵測能力,也增加了附帶推論,而國內反對者可以利用由此產生的不確定性來要求更多的保證。

這是我主張的核心論點:熟悉的驗證問題在 AI 中以遞歸方式相互作用,因此一個方面的改進可能會使另一個方面惡化。

為了具體化這個問題,讓我們考慮一個刻意設定的高難度參考案例:美國與中國之間達成一項協議,要求預先申報任何使用特定數量晶片進行訓練的 AI 訓練運行,並禁止未經申報和監測的超閾值運行。此案例的前提是假設雙方都對減少戰略突襲有共同利益。如果雙方預期持續發展,都不認為短暫的技術領先能產生持久的壟斷,且可能的緊急反動員成本超過隱匿的好處,那麼相互預警就可能是有益的。然而,如果尖端 AI 的領先優勢足夠大,足以帶來持久且決定性的先發優勢,情況也可能如此。在此情況下,預警會削弱這種優勢,雖然潛在的落後者可能會歡迎這一點,但領先者則沒有動力參與監測。

這裡的雙邊簡化隔離了相互協議和驗證動態。它並非作為直接實施的模型。一個真正的機制將取決於其他擁有相關晶片、雲端服務和分散式訓練能力的國家的合作。

在鼓勵相互預警的機制中,受管制的實驗室、雲端供應商和大型運算集群的營運者將受國家法律約束,並被要求生成防篡改記錄。一個聯合管理的技術秘書處將接收經過嚴格指定的真實記錄或晶片使用報告,將其與晶片庫存和其他監測數據進行比較,並在證據表明不合規時要求進行受管理的訪問。雙方將預先同意什麼構成重大違規以及後果。

驗證無法在不存在共同克制意願的地方製造這種意願。下文的分析假設存在一個可行的談判範圍,但並不確立它。沒有這個前提,它就只能是診斷性的而非處方性的,闡明披露成本和技術進步如何影響達成協議的前景。參考案例足夠具體,可以問什麼必須被觀察到,誰必須揭露它,觀察行為還會揭露什麼,以及偵測是否足夠及時以發揮作用。

軍備控制學術界提供了關於可觀測性、侵入性訪問、情報洩漏和政治上可接受的不確定性的推理工具。與 AI 的類比是方法論上的,而非戰略上的。一些戰略軍備控制協議部分依賴於對均勢和相互脆弱性的接受。一場可能產生持久壟斷的 AI 競賽可能無法提供類似的克制基礎。在 AI 驗證中,以下三個警示會加劇問題。

第一個警示來自 Andrew Coe 和 Jane Vaynman 對軍備控制為何如此罕見的闡述。國家需要足夠的透明度來判斷對手是否遵守協議,但產生保證的訪問權限也可能暴露對手在後續危機或戰爭中可能利用的弱點。當單方面監測不足且合作訪問深入到禁止和允許活動共存的設施時,問題最為嚴重。

Vaynman 和 Tristan Volpe 在比較固定彈道飛彈和生物武器時提供了一個有用的說明。筒式飛彈部隊創造了龐大、地理位置穩定的基礎設施,相對容易區分和透過現有技術手段進行觀察。生物技術則更難區分,並且深度整合到合法產業中:發酵罐可能生產啤酒、疫苗或生物製劑,周圍的設施可能包含與武器完全無關的商業價值流程。這並非《生物武器公約》至今仍缺乏常設國際核查機制的唯一原因。其議定書談判也因商業機密、生物防禦和出口管制等普通政治爭議而失敗。但 Vaynman 和 Volpe 關於可區分性和整合性的研究有助於解釋為何該技術的物理結構使這些政治問題更加棘手。

尖端運算處於兩者之間,因為一個包含數千個先進晶片的訓練集群是一個實體工業設施。它消耗電力、移動數據、需要網路和冷卻,並依賴於集中且通常脆弱的半導體供應鏈。這些是監測的有利特徵。然而,同一個集群可能用於允許的研究、商業產品、情報分析和軍事計畫。為了確定申報的訓練運行是否低於閾值,監測者可能會尋找關於晶片庫存、晶片如何互連、利用率、網路流量以及訓練工作負載本身的信息。在此過程中,它可能會了解到一個國家動員運算能力的潛力、瓶頸所在、哪些設施支持國家安全工作,以及一個尖端實驗室如何組織其最有價值的工業流程。

這裡的工程任務是將合規信號與秘密分開。

Vaynman 稱其根本擔憂是「對收集信息的證明控制」。本文將這種擔憂擴展為一個機制級別的設計要求:過濾性。合作監測渠道不應僅僅承諾檢查員會忽略附帶信息。它們應在技術和制度上將合規聲明與附帶信息分開,並允許被檢查方驗證透過這些渠道收集、保留和披露了什麼。對於是否能真正對抗國家對手實現尖端運算監測,仍是猜測。

樂觀的觀點是,新技術讓國家在侵入性更少的情況下進行更多驗證。商業衛星、遙感器和自動化分析可以在不將檢查員置於敏感設施內的情況下揭示活動。這是真實的。但這只是帳戶的一半。

偵測違規訓練運行的相同分析系統,可以從表面上無害的合規數據中得出附帶推論。一系列匯總的證明可能揭示實驗室實驗的節奏。晶片可用性和故障模式可能揭示國家運算基礎設施的可靠性。即使是狹窄的合規輸出,與功耗、衛星圖像、招聘、出版物和供應鏈動態相關聯,也可能成為關於模型開發時間表或戰略動員能力的證據。被監測方必須權衡的不僅是對方今天能推斷出什麼,還有利用明天的系統從儲存的數據中推斷出什麼。

AI 是協議的對象、監測協議的工具,以及改進規避的來源。這些影響不應被歸為一類,因為它們是不同類型的問題:隱蔽的集群是一個偵測問題。將運行分散到不同的公司或司法管轄區是一個會計和歸因問題。演算法效率又不同:它改變了運算與能力之間的關係,可能允許合規運行產生旨在預防的結果。此外,AI 模型能力的提高改變了圍繞任何協議的戰略激勵。國家對領先競賽的預期如何決定性地改變披露是令人安心還是破壞穩定的。

這些影響共同啟動了反饋循環。對附帶推論的恐懼導致一方限制其願意提供的數據。受限的數據留下了更多關於合規性的不確定性。更好的分析能力可以恢復一些偵測能力,但也使附帶推論更難界定。然後,被檢查國在最壞的情況下權衡訪問權限,而監測國則要求更多的訪問權限以減少不確定性。因此,技術上更強大的監測者可能會縮小達成協議的空間。

第三個警示來自 Nancy Gallagher 對核驗證政治的歷史研究。僅僅監測能力本身並不決定什麼構成足夠的驗證。技術證據限制了可能的範圍:儀器有偵測極限,規避技術有成本,誤報率也是可衡量的。政治行動者決定剩餘風險中多少是可以容忍的。

有時他們也會策略性地利用真實的不確定性。空腔耦合(透過在足夠大的地下空腔中引爆核爆炸來減少其地震信號)是真實存在的,並非虛構。但其實際影響取決於關於地質、結構、約束以及規避者將產生的其他特徵的不確定假設。全面禁止核試驗的對手可以強調最寬鬆的假設,並堅持任何殘餘的可能性都是不可接受的。支持者則可以強調執行規避的難度以及被抓的後果。兩種論點都包含技術主張。任何一方偏好的標準都不是簡單機械地從科學中得出的。

同樣的爭論也會圍繞運算閾值發生。該機制必須能夠偵測多大的未申報運行?機率是多少,速度有多快?分散的運行應如何匯總?訓練效率的提高何時會使商定的運算代理過時?一些挑戰將暴露真實的缺陷。其他則會偽裝成工程要求,成為「殺手級修正案」。政治優勢在於能夠將每一次假設的規避描述為整個協議無法驗證的證據的行動者。

訓練運算仍然可以作為一個近期的驗證對象,因為大型的尖端運行是一個相對可見的工業事件:它需要晶片、電力和協調,並且可以在模型完成和部署之前產生證據。然而,它並非永久性的代理。例如,推理時間的擴展可以增加新的能力,而無需新的訓練運行。提議的機制管理的是一個可行的預警指標,而非能力本身,並且被監測的內容性質需要隨著技術的發展而動態演變。

這就完成了循環。對間諜活動的擔憂限制了監測訪問。減少的訪問保留了不確定性。國內政治、安全和官僚機構的參與者(他們的同意是必需的)利用這種不確定性來提高充分性的標準。滿足更高的標準需要更具侵入性的監測,這加劇了最初對間諜活動的擔憂。AI 輔助推理和快速的演算法變化從兩個方向加速了這個循環。

第一個獨特的要求是過濾性。在明確的威脅模型下,技術機構應指定哪些指定機制可以揭示合規聲明以外的信息,測試重複查詢和數據融合下的洩漏,限制保留,並為被檢查方提供可審計的證據,說明這些渠道中的信息是如何處理的。最近關於最小化披露的研究展示了一種在六個有界驗證任務中衡量和減少洩漏的方法。它並未在面對國家對手的機制中建立過濾性。合作安全措施也不能約束國家情報系統可能從其他來源推斷出的內容。一些洩漏是不可避免的,但「信任檢查員」並非安全架構。

第二個獨特的要求是紅隊測試懷疑,但不要發布規避手冊。測試應使用預先商定的威脅模型、公開的資金、獨立的複製和置信區間。一些工作可以是公開的。更敏感的評估將需要一個適當獲得安全許可或聯合信任的小組,其方法受到保護,但結論和不確定性範圍將被發布。這不會將政治從驗證中移除。如果雙方不信任該小組、其對其信息的保管,或其如何描述結果,那麼就不可能建立共同的保證。

這些措施旨在減緩反饋循環,而非完全打破它。過濾性本身就是一種監測形式。洩漏是不可避免的,沒有任何程序可以消除關於充分性的政治。這裡的願望更為狹窄:減少可避免的披露,明確殘餘的不確定性,並要求新的訪問要求基於經過測試的證據。

聯合測試應在條約立場確定之前建立共同的技術基礎。科學專家組的工作,該組織花了二十年時間開發和測試後來被納入《全面禁止核試驗條約》核查系統的概念,證明了共同的技術測試確實可以先於政治協議。

然而,這是一個不完美的模型:它的工作在一個已經建立的軍備控制基礎設施內進行了二十年。AI 的對應物無法承受以十年為時間尺度運作。它需要短期、可修訂的週期,這些週期可以透過並行的國家或非官方演習開始。機構、實驗室、硬體安全專家、晶片製造商、雲端超大規模服務提供商和獨立科學家應測試候選系統能偵測到什麼,它們洩漏什麼,以及它們提供預警的速度。

實施聯盟和對違規行為的反應仍然是明確的要求。國家將做出國際承諾,但實驗室、雲端供應商、晶片製造商、出口管制當局和情報機構將承擔大部分工作。每個機構都有不同的秘密和動機。一個僅在模型訓練完成並複製後才偵測到違規運行的機制,提供的是信息,而非預警。必須包含連續或訓練中的證明、快速的質詢程序以及分級後果,例如加強檢查或暫停相互市場准入。否則,驗證將面臨在最關鍵步驟發生後才偵測到突破的風險。

Schelling 和 Halperin 在 1961 年將軍備控制描述為軍事戰略的擴大。對 AI 的教訓是,驗證與安全工程是連續的,但不能簡化為安全工程。一個定義良好的零知識協議可以約束其記錄在聲明假設下的揭示內容。它無法決定華盛頓、北京或任何其他首都應接受多少殘餘風險,誰被信任來裁決模糊的證據,以及當可獲得的優勢誘人地出現時,哪個聯盟將維持克制。

我們無法證明負面。我們需要讓後果嚴重的作弊行為能夠及早被偵測到以做出回應,讓監測足夠安全以被接受,並讓殘餘的不確定性足夠明確,以便終點線更難被機會主義地移動。

這種複雜性是 AI 軍備控制的必要成本。如果我們只設計傳感器,反饋循環將設計協議。

Mark Daley 是加拿大西安大略大學的首席 AI 官員和教授。他還擔任加拿大自然科學與工程研究理事會 AI 學者駐地研究員。他最近的研究考察了機器智能如何塑造戰略和外交的基礎,包括驗證、威懾以及國際關係理論中嵌入的認知假設。