財政部長、央行行長和金融界人士對一款強大的人工智慧模型表達了嚴重擔憂,他們擔心該模型可能會破壞金融系統的安全性。
由 Anthropic 開發的 Claude Mythos 模型引發了危機會議,因為它發現了許多主要作業系統中的漏洞。
專家表示,它可能具有前所未有的識別和利用網路安全弱點的能力——儘管其他人警告需要進一步測試才能充分了解其能力。
加拿大財政部長 François-Philippe Champagne 告訴 BBC,Mythos 在本週於華盛頓特區舉行的國際貨幣基金組織(IMF)會議上得到了廣泛討論。
「這顯然足夠嚴重,值得所有財政部長關注,」他說。
「區別在於,荷姆茲海峽——我們知道它在哪裡,也知道它有多大……我們面臨的與 Anthropic 的問題是,這是未知的未知。」
他補充說:「這需要很多關注,以便我們有保障措施,並有適當的流程來確保我們的金融系統的韌性。」
Mythos 是 Anthropic 最新開發的模型之一,是其更廣泛的 AI 系統 Claude 的一部分,該系統是 OpenAI 的 ChatGPT 和 Google 的 Gemini 的競爭對手。
本月早些時候,Anthropic 透露了這一點,負責測試 AI 模型及其所謂的「不對齊」任務(違背人類價值觀、目標和行為)的開發人員表示,它在電腦安全任務方面「能力驚人」。
由於擔心它可能會暴露舊的軟體錯誤或找到輕鬆利用系統漏洞的方法,Anthropic 並未發布該模型。
相反,它已透過一項名為 Project Glasswing 的計畫,將 Mythos 提供給亞馬遜網路服務(Amazon Web Services)、CrowdStrike、微軟(Microsoft)和輝達(Nvidia)等科技巨頭——該計畫被稱為「確保全球最關鍵軟體的努力」。
週四,Anthropic 發布了現有模型 Claude Opus 的新版本,表示將允許在功能較弱的系統中測試 Mythos 的網路能力。
對 Mythos 提出的擔憂可能超過了對先前 AI 模型討論的熱度,但一些網路安全專家質疑其合理性——特別是考慮到該模型尚未經過廣泛行業測試以了解其真實能力。
英國 AI 安全研究所已獲得該模型預覽版的存取權,並發布了對該模型網路安全技能的唯一獨立報告。
其研究人員指出,這是一個強大的工具,能夠在無防護的環境中發現許多安全漏洞,但建議 Mythos 並沒有比 Claude 的前身 Opus 4 顯著更好。
報告作者說:「我們的測試表明,Mythos Preview 可以利用安全防護薄弱的系統,並且很可能會開發出更多具有這些能力的模型。」
這也不是 AI 開發商第一次聲稱其模型的潛力意味著不應發布——批評者認為這是一種建立炒作的策略。
2019 年 2 月,OpenAI 在選擇逐步發布 GPT-2 時也表達了類似的擔憂,GPT-2 是其現今為其最大工具 ChatGPT 提供動力的早期模型版本。
頂級銀行家將提前獲得該模型的存取權,以測試他們的系統。
巴克萊銀行(Barclays)首席執行長 CS Venkatakrishnan 告訴 BBC:「這足夠嚴重,讓人們不得不擔心。」
「我們必須更好地理解它,我們必須理解正在暴露的漏洞並迅速修復它們。」
他補充說:「這就是新世界將要變成什麼樣」——指的是一個聯繫更緊密的金融系統,既有機會也有漏洞。
雖然開發商 Anthropic 表示該模型已經暴露了某些關鍵作業系統、金融系統和網頁瀏覽器中的多個安全漏洞,但各國政府和銀行在該模型公開發布前被提供存取權,以幫助保護他們自己的系統。
英格蘭銀行(Bank of England)行長 Andrew Bailey 告訴 BBC,必須非常認真地對待這一發展:「我們現在必須非常仔細地審視這一最新的人工智慧發展可能對網路犯罪風險意味著什麼。」
他補充說:「其後果可能是,人工智能、建模的發展,使得更容易檢測到核心 IT 系統中的現有漏洞,然後顯然網路犯罪分子——壞人——可能會試圖利用它們。」
美國財政部證實已與其主要銀行討論了此事,鼓勵它們在 Anthropic 公開發布 Mythos 之前測試其系統。
金融業消息人士指出,另一家著名的美國 AI 公司可能很快會發布一個功能同樣強大的模型,但沒有相同的安全措施。
Balderton Capital 合夥人 James Wise 是 Sovereign AI 的主席,這是一家將投資英國 AI 公司的風險投資基金,獲得了 5 億英鎊的政府資金支持。
他說,Mythos 是「許多更強大模型中的第一個」,這些模型可以暴露系統的漏洞。
他告訴 BBC 的 Today Programme,他的部門「正在投資那些正在解決這個問題的英國 AI 公司——那些從事 AI 安全和保障的公司。」
「我們希望那些暴露漏洞的模型也是那些將修復它們的模型。」
洛斯托夫特(Lowestoft)議員 Jess Asato 正在高等法院起訴埃隆·馬斯克(Elon Musk)的 xAI 聊天機器人 Grok 損害賠償。
週二上午,韓國 Kospi 指數交易因下跌 8% 而暫停。
發現數百份與 Anthropic 聊天機器人的對話可公開存取。
擬議的和解旨在結束一場長達數年的法律訴訟,該訴訟聲稱其滑石粉產品會致癌。
標籤和粘合劑會阻止紙張被回收,但有新技術旨在改變這一點。