美國及其盟友在以色列南部城市基里亞特加特（Kiryat Gat）的美國主導民軍協調中心，於2025年11月19日與以色列對口單位協調監測加薩走廊的停火協議。AHIKAM SERI/AFP via Getty Images
關於致命自主性的辯論——這也是川普政府與Anthropic公司爭議的核心——掩蓋了五角大廈快速採用商業AI工具所帶來的更深層危險：它們可能會削弱美軍辨別事實與虛構的能力。
新的研究表明，依賴AI執行各種任務會侵蝕一個人原有的能力。軍事指揮官們正注意到這一點。
「你越使用AI，你的大腦就會以不同的方式運作，」法國海軍上將皮埃爾·萬迪耶（Pierre Vandier）在Defense One的「國防現況」（State of Defense）系列訪談中表示。「因此，我們需要能夠進行監督，能夠批判性地看待AI呈現的內容，並確保我們不會被一種虛假的呈現方式所欺騙。這是我們需要關注的事情。」
然而，五角大廈在急於部署AI工具的過程中，幾乎沒有證據表明他們正在採取措施來保持使用者敏銳的判斷力——甚至沒有監測AI的影響。
「由於部署這些模型的速度和緊迫性，這可能還沒有到位，」一位曾在戰鬥環境中部署AI的前高級軍官說。
與此同時，使用AI工具的壓力只會越來越大。
「特別是當你深入任何衝突時，尋找更多目標的壓力就會越來越大。這在每一次衝突中都會發生。兩週後，你差不多已經用完了你的目標清單。現在你需要新的目標。那麼，你能多快生成目標？」這位前高級軍官說。
越來越多的研究表明，廣泛使用大型語言模型會損害人類的思維和溝通。
例如，根據美國空軍研究實驗室本月初在期刊《Cell》上發表的一篇論文，它可能會使使用者之間的思維同質化，加強「主流風格，同時邊緣化替代聲音和推理策略」。
南加州大學計算機科學教授、該論文的合著者莫爾特扎·德赫加尼（Morteza Dehghani）表示，這至少給軍方帶來了兩個問題。當下，「它抹去了關於作者是誰的信號」，從而消除了評估數據的重要背景。而隨著時間的推移，它會扼殺批判性思維。
德赫加尼在電子郵件中寫道：「由於這些模型針對最可能出現的、『理想化』的回應進行了優化，它們通常會強制執行線性的『思維鏈』推理風格。」「這可能會讓經驗豐富的分析師失去動力，不去採用非線性、直觀或『直覺』策略，而這些策略對於識別罕見的例外情況或駕馭複雜、非標準化的情報場景至關重要。」
同樣，華頓商學院的研究人員在1月份發現，使用大型語言模型的人花費的時間越來越少，用於仔細審查結果的準確性或運用自己的判斷。他們發現，即使使用者知道AI的判斷是錯誤的，他們仍然會依賴AI的判斷，這種現象被作者稱為「認知投降」。
普林斯頓大學2月份的一篇論文發現，大型語言模型與使用者互動的方式——被稱為「谄媚式AI」——會灌輸虛假的自信感，並將人們孤立在預設的偏見中：「我們的結果表明，一個受歡迎的聊天機器人的預設互動方式，類似於向人們提供證實性證據的效果，增加了自信心，但並未讓他們更接近真相。」
軍方至少意識到問題的某些方面。在3月6日的播客節目中，五角大廈的研發主管埃米爾·邁克爾（Emil Michael）表示，他對Anthropic的核心擔憂——川普總統已禁止聯邦政府使用該公司產品——是軍事使用者可能會過度依賴單一不可信的工具。
「也許是一個惡意的開發者可以毒害模型，使其在你想要的時候不按預期工作，或者因為你需要欺騙它而欺騙你。我的意思是，所有這些我們在擔心模型故意產生幻覺或不遵守指令時都知道的事情，」邁克爾說。
Anthropic也有類似的擔憂：他們的工具可能被未經訓練以正確評估其輸出的使用者使用。一位公司官員表示，他們最擔心的是，他們尚未驗證該模型是否能可靠地用於編制目標清單。更糟糕的是，他們無法得知軍方是如何使用他們的工具的。例如，Anthropic官員是在事後才得知他們的工具被用於策劃1月3日對委內瑞拉的突襲行動。
五角大廈此後已將Anthropic的產品列為供應鏈風險，並正在努力更換它們，儘管它們仍被軍事規劃者使用，包括在中東地區。
一位前高級官員將其描述為「一個嚴肅的治理問題」。像OpenAI、Anthropic、Google和xAI這樣的邊緣AI公司，無法為軍事單位提供所需的深入支援，以了解這些工具的使用條件。
這位前高級軍官說：「這幾乎成了政府的一場探索之旅。」「是否有這些公司的員工在現場協助日常使用者？我猜測，如果有的話，可能只有一兩個。」