人工智慧（AI）在軍事領域的應用，正處於美國國防部與 Anthropic 公司之間一場法律訴訟的中心。隨著當前與伊朗的衝突日益激烈，AI 在其中扮演的角色比以往任何時候都更加重要，這場辯論也變得更加迫切。AI 已不再僅僅是協助人類分析情報的工具，它現在已成為一個活躍的參與者——即時生成目標、控制和協調飛彈攔截，並引導致命的自主無人機蜂群。
大多數關於使用 AI 驅動的自主致命性武器的公開討論，都集中在人類應該在多大程度上保留「決策迴圈」中的角色。根據國防部目前的準則，人類監督據稱可以提供問責制、背景資訊和細微差別，同時降低被駭客入侵的風險。
然而，關於「人類在決策迴圈中」的爭論，只是一種令人寬慰的轉移注意力的說法。眼前的危險並非機器會在沒有人類監督的情況下採取行動；而是人類監督者根本不知道機器實際上在「思考」什麼。國防部的準則存在根本性的缺陷，因為它們建立在一個危險的假設之上：人類理解 AI 系統如何運作。
我數十年來研究人類大腦中的意圖，近期也研究了 AI 系統中的意圖，我可以證明，最先進的 AI 系統本質上是「黑盒子」。我們知道輸入和輸出，但處理它們的人工「大腦」仍然是模糊不清的。即使是其創造者也無法完全解釋它們或理解它們如何運作。而且，當 AI 提供理由時，它們並不總是值得信賴。
在關於人類監督的辯論中，一個根本性的問題沒有被提出：我們能否在 AI 系統採取行動之前，理解它的意圖？
想像一架自主無人機，其任務是摧毀敵方的彈藥工廠。自動指揮和控制系統確定最佳目標是彈藥儲存建築。它報告任務成功的機率為 92%，因為建築內彈藥的二次爆炸將徹底摧毀該設施。一名人類操作員審查了合法的軍事目標，看到了高成功率，並批准了打擊。
但操作員不知道的是，AI 系統的計算包含了一個隱藏的因素：除了摧毀彈藥工廠外，二次爆炸還將嚴重損壞附近的兒童醫院。隨後的緊急響應將集中在醫院，確保工廠被燒毀。對 AI 而言，以這種方式最大化破壞符合其既定目標。但對人類而言，這可能因為違反有關平民生命的規則而構成戰爭罪。
讓人類參與決策迴圈可能無法提供人們想像中的安全保障，因為人類在 AI 採取行動之前無法知道其意圖。先進的 AI 系統不僅僅是執行指令；它們會對指令進行解釋。如果操作員未能足夠仔細地定義其目標——在高壓情況下極有可能發生——這個「黑盒子」系統可能完全按照指示執行，但其行為仍可能與人類的意圖不符。
這種 AI 系統與人類操作員之間的「意圖鴻溝」，正是我們猶豫將前沿的黑盒子 AI 應用於民用醫療保健或空中交通管制的原因，也是其整合到工作場所仍然充滿挑戰的原因——然而我們卻急於將其部署到戰場。
更糟糕的是，如果衝突的一方部署了全自主武器，以機器速度和規模運作，競爭壓力將迫使另一方也依賴這類武器。這意味著在戰爭中使用越來越自主——且不透明——的 AI 決策的可能性只會增加。
AI 的科學必須包含構建高度強大的 AI 技術和理解這項技術如何運作。在開發和構建更強大的模型方面已取得巨大進展，這得益於創紀錄的投資——Gartner 預測僅在 2026 年，投資額就將增長到約 2.5 兆美元。相比之下，在理解技術如何運作方面的投資微乎其微。
我們需要一個巨大的範式轉變。工程師們正在構建越來越強大的系統。但理解這些系統如何運作不僅僅是一個工程問題——它需要跨學科的努力。我們必須構建工具來表徵、測量和干預 AI 代理在採取行動之前的意圖。我們需要繪製驅動這些代理的神經網絡的內部通路圖，以便我們能夠建立對其決策過程的真正因果理解，而不僅僅是觀察輸入和輸出。
一個有希望的前進方向是結合機械可解釋性技術（將神經網絡分解為人類可理解的組件）與來自意圖神經科學的見解、工具和模型。另一個想法是開發透明、可解釋的「審計員」 AI，旨在即時監控更強大的黑盒子系統的行為和湧現目標。
更好地理解 AI 的功能，將使我們能夠在任務關鍵型應用中依賴 AI 系統。它也將更容易構建更有效、更強大、更安全的系統。
我和我的同事們正在探索來自神經科學、認知科學和哲學的觀點——這些研究意圖如何在人類決策過程中產生的領域——如何幫助我們理解人工智能系統的意圖。我們必須優先考慮這類跨學科的努力，包括學術界、政府和產業之間的合作。
然而，我們需要的不僅僅是學術探索。科技產業——以及資助 AI 對齊（AI alignment）的慈善家，他們致力於將人類價值觀和目標編碼到這些模型中——必須將大量投資導向跨學科的可解釋性研究。此外，隨著國防部追求越來越自主的系統，國會必須強制對 AI 系統的意圖進行嚴格測試，而不僅僅是其性能。
在我們實現這一點之前，人類對 AI 的監督可能更多的是一種幻覺，而非安全保障。