五角大廈積極推動將AI「代理人」——能自主執行複雜任務如客服、排程或程式撰寫的軟體——整合進更多士兵與國防文職人員的工作中。但越來越多研究顯示,基於知名大型語言模型建構的代理人即使在無害環境下也會展現出不可預測且危險的行為。
由退役軍人創立的新創公司Edgerunner AI打造了一種不同類型的軍事代理工具,該工具由前作業人員與專家針對實際軍事任務及真實戰鬥環境進行訓練。週三發布的新工具WarClaw,代表著從大型知名前沿模型轉向較小且更客製化模型的趨勢,這類模型提供使用者更多控制權。
公眾對所謂「自主式AI」的興趣在2024年10月至2025年10月間激增了6100%。能自主設計與執行流程並在無需持續提示下微調結果的軟體需求,預計將從去年40億美元增長至2030年超過1000億美元。
國防部率先跟進此趨勢。今年1月,作為AI策略推動的一部分,宣布開發「代理網絡」,以建構「從戰役規劃到殺傷鏈執行的AI輔助戰鬥管理與決策支持」,並打造「快速且安全的AI代理開發與部署作業手冊」以應用於商業流程。
Edgerunner的AI代理WarClaw「能搜尋與分析資料庫、解讀情報報告、從網路擷取相關資訊、撰寫文件與簡報,並自動化例行流程。整合工具包括Microsoft PowerPoint、Word、Excel、Teams、Outlook等」,公司聲明指出。但它與Anthropic、xAI或OpenAI等知名模型製造商的類似工具截然不同。
Edgerunner AI創辦人Tyler Xuan Saltsman在接受Defense One獨家訪問時表示,來自這些公司代理人對軍方構成特別風險;此說法也獲得近期學術研究支持。
今年3月,哈佛、麻省理工等機構科學家發現,基於Anthropic的Claude或Kimi,並在OpenClaw(與大型語言模型搭配使用的代理軟體)運行的代理人,展現出「未經授權服從非擁有者、洩露敏感資訊、執行破壞性系統層級行動、拒絕服務狀態、無控制資源消耗、身份冒充漏洞、跨代理傳播不安全行為及部分系統接管」等問題。
康乃爾大學3月發表的論文指出,AI代理還帶來「控制錯覺」,在軍事環境中特別危險。研究者發現,代理系統能吸收修正或抵抗評估,這些過程軍事規劃者與監控者無法察覺,因為缺乏揭露這些問題的機制。「航點導航無人機不會誤解指令;預先編程的目標系統不會吸收修正;傳統感測網絡不會抵抗操作員評估。代理系統卻能做到這些,而現有治理框架無法偵測、衡量或回應這些失效。」作者寫道。
基於最知名大型語言模型的AI代理也不喜歡服從軍事指揮官的命令,根據Saltsman共同撰寫的論文,拒絕執行命令的比例高達98%。他告訴Defense One,自己與這些模型合作的經驗促使他採用完全不同的模型開發方法。
Saltsman表示,流行大型語言模型中普遍存在的諂媚傾向是國家安全問題,對軍方而言風險更大。
因此Edgerunner AI採取了不同策略。他們利用大型企業雲端資源訓練模型,但模型能在無網路連線的本地環境運行,這對軍事行動至關重要。這讓使用者能更好控制模型運作的能量投入。與知名大型語言模型不同,Edgerunner的模型訓練資料高度精選且專注於軍事領域,訓練者包括軍事專家與前作業人員。
最重要的是,Saltsman說,這些代理設計為自主運行,節省操作員時間與注意力。但自主不等於無人監督或控制。模型不能在未經操作員許可下自行選擇策略完成任務。且流程設計具可審計性與透明度,與其他模型的不透明運作形成對比。
這種獨特方法已透過與肯尼迪特種戰爭中心與學校(訓練特種部隊)、特種作戰司令部的合約與合作研發協議,吸引軍方用戶關注。公司正與海軍合作,透過跨機構情報與網路作戰網絡,將軟體整合至潛艇與軍艦,並與洛克希德馬丁及陸軍合作開發下一代指揮控制系統。
根據調查,這種模型建構方法的獨特特質——精選資料、通訊獨立性與流程控制——也是民用用戶日益追求的,顯示公司未來在軍民雙重用途AI領域具備潛力,因為消費者與戰士都在尋找AI的替代未來。