Anthropic 公司對其強大的尖端 AI 模型採取嚴格保密措施,並推出一項研究其對全球網路影響的新計畫,此舉正引發情報界的討論,探討這類工具可能如何幫助友方及敵方勢力。
週二,Anthropic 揭曉了「Project Glasswing」計畫,旨在於 AI 驅動的攻擊者壓垮關鍵軟體之前,提升 AI 驅動的防禦能力。
該 AI 公司在部落格文章中表示:「對經濟、公共安全和國家安全造成的影響可能非常嚴重。Project Glasswing 是一項緊急嘗試,旨在將這些能力用於防禦目的。」
計畫合作夥伴——包括 Amazon Web Services、Apple、Cisco、Google、Microsoft 等——將能存取尚未發布的模型 Claude Mythos Preview。官方寫道,該模型「已經發現了數千個高嚴重性漏洞,包括一些存在於所有主要作業系統和網頁瀏覽器中的漏洞。」
據一位熟悉多個情報單位內部想法的人士透露,情報界對此消息做出了反應。
「他們想要安全的程式碼,並希望利用 AI 來尋找網路漏洞,」這位人士表示,他與文中其他一些人一樣,為了描述敏感的內部審議而選擇匿名發言。
一位公司官員表示,Anthropic 已向包括網路安全和基礎設施安全局以及 NIST 的 AI 標準與創新中心在內的美國政府高級官員簡報了 Mythos Preview 的攻擊與防禦網路應用。
該公司官員說:「從一開始,讓政府參與其中——了解模型的功能、風險所在以及我們如何管理它們——就是我們的優先事項。」
另一位知情人士告訴 Nextgov/FCW,美國國家安全局的分析師們也在隨意討論 Mythos 模型的發布。
多個情報機構和國防部部門在攻擊性網路行動和防禦美國網路方面扮演著角色。由於攻擊任務通常依賴於對目標防禦的理解,像 Mythos 模型這樣的工具若落入不法之徒手中,可能會幫助敵對勢力識別和利用關鍵系統中的弱點。據悉,各機構已經儲備了駭客攻擊漏洞以供未來使用。
此發展也引起了與情報界合作的網路安全公司的極大關注,在某些情況下甚至引起了擔憂。
一位網路投資公司的高管對 Anthropic 模型能夠識別漏洞的規模感到震驚,他問道:「任何人要如何同時防禦這一切?」
專注於軟體供應鏈風險的公司 Hunted Labs 的聯合創始人 Hayden Smith 表示,Glasswing 的消息「令人擔憂且不祥」,因為目前尚不清楚 Mythos Preview 如何被用於攻擊,尤其是在它落入外國敵對勢力手中時。
他解釋說,該模型很有可能落入被視為敵對美國的政府手中,「即使經過深入審查,鑑於目前對開源生態系統和軟體供應鏈的攻擊格局,Mythos 落入不法之徒手中的機率幾乎不是假設。」
由於網際網路的很大一部分運行在由世界各地開發人員維護的廣泛使用的開源軟體上,像 Mythos 這樣的工具可能會發現支撐數位生態系統大部分基礎的程式碼中的弱點。
在最近發生了廣泛影響的軟體供應鏈事件——包括上週披露的 Axios JavaScript 函式庫被入侵——以及人們擔心一些關鍵開源專案背後的開發人員與美國政府認為與外國敵對勢力有關聯的公司有關聯後,這種動態變得更加清晰。
國會也在關注 Anthropic 的發展。
維吉尼亞州民主黨參議員、參議院情報委員會副主席 Mark Warner 表示:「我們已經看到網路威脅行為者利用 AI 工具來提升他們的能力,危及政府、企業和消費者的安全及個人資訊。隨著 AI 大幅加速新漏洞的發現,我希望業界能相應地加速並重新優先處理修補工作。」
美國網路司令部前執行董事、普華永道的網路、數據與技術風險服務主管 Morgan Adamski 表示,觀察家們一直在等待像 Mythos Preview 這樣能夠大規模識別和利用網路漏洞的模型發布。
她在一次採訪中說:「對於從事攻擊性網路領域的人來說,對於美國政府來說,從敵對的角度來看,顯然存在巨大的潛力。」
但攻擊與防禦在很多方面是相同的。如果網路情報分析師在敵方電腦網路中發現了一個新穎的漏洞,那麼美國的系統也可能存在同樣的漏洞。
Adamski 說:「將會出現一個真正的公平性對話。如果我們利用了敵方網路中的某個東西,我們就必須能夠防禦我們自己的關鍵基礎設施中的同樣東西。」
她還表示,預計 AI 領域將出現更多這類創新,因為「通常情況下,當這類模型出現時,其他模型也不會遠。」
Cisco 美國公共部門組織高級副總裁 Gary DePreta 在一次採訪中告訴 Nextgov/FCW,該公司參與 Project Glasswing 是其應對網路安全威脅並將 AI 的好處帶給客戶群的更大目標的一部分。
DePreta 在週三表示:「我們正從一個偵測與響應的時代——隨著我們利用 AI 自動化——轉變為預測與預防威脅的時代。我們在 Cisco 經常說這句話:『AI 與企業的進步存在悖論。』它的意思很簡單,就是 AI 的能力遠遠超過了企業以安全可靠的方式實施它的能力。」
Anthropic 已成為 AI 公司在技術倫理使用界限上的主要發聲者,儘管這種立場與美國軍方產生了摩擦。今年早些時候,該公司拒絕放寬對其工具用於國內監控或五角大廈用於全自主武器的限制,這導致國防部將其列為「供應鏈風險」,並由白宮發布命令,要求所有聯邦機構逐步淘汰對 Anthropic 工具的使用。該公司已對此舉提起法律挑戰。
Mythos 的發布可能會重塑國防部與該公司的互動方式。
華盛頓智庫「民主保衛基金會」的 AI 研究員 Leah Siskind 表示:「政府需要與 Anthropic 和解,並幫助他們和 Glasswing 成員透過防止中國竊取模型來維持美國在 AI 領域的領先地位。」
她說:「Anthropic 正在做出負責任的選擇——但敵對勢力不會。中國已經在利用美國的 AI 模型來加速其自身的能力,當他們達到 Mythos 級別的性能時,他們將會將其武器化。」