資安研究人員揭露了 OpenAI ChatGPT 的一項漏洞細節，該漏洞利用了人工智慧（AI）助理對 Markdown 連結和圖片的隱性信任，以觸發提示注入並開啟釣魚攻擊的可能。

Permiso Security 將此技術命名為 ChatGPhish。

安全研究員 Andi Ahmeti 在一份分享給 The Hacker News 的報告中表示：「chatgpt.com 的回應渲染器信任來自 AI 助理剛摘要的第三方網頁的 Markdown 連結和 Markdown 圖片 URL。它會自動擷取這些圖片，並將這些連結顯示為受信任的助理 UI 中的即時、可點擊元素。」

在一個假設的攻擊情境中，惡意行為者可以在任何受害者之後提示 ChatGPT 摘要的網頁中附加一個小型載荷，當網頁中嵌入的攻擊者託管圖片在回應渲染時被自動擷取時，就會洩漏受害者的 IP、使用者代理（User-Agent）和 Referer 詳細資訊。

此外，這可能導致惡意 Markdown 連結在助理的回應中顯示為即時可點擊元素，顯示偽造的系統風格安全警報，並從攻擊者的 S3 儲存桶顯示 QR Code，誘騙受害者透過行動裝置掃描，從而有效地繞過桌面 URL 過濾器和企業安全控制。

最新的發現展示了摘要如何成為一個對抗性的表面。今年三月，Permiso 也揭露了攻擊者控制的電子郵件，其中包含特製的指示，當被 Microsoft Copilot 摘要時，可以透過跨提示注入（XPIA）或間接提示注入影響其輸出。

ChatGPhish 成為一個值得注意的攻擊技術，並非因為提示注入本身，而是因為它遵循網頁中嵌入的指示，並將其作為摘要的一部分呈現給使用者。

換句話說，透過 ChatGPT 摘要一個普通的網頁就足以直接在受信任的 AI 介面中呈現釣魚連結、偽造的帳戶警報、遠端圖片和 QR Code。隨著組織越來越多地使用 ChatGPT 進行研究和摘要，此漏洞意味著員工要求 AI 聊天機器人處理的任何惡意網頁都可能包含一個將 ChatGPT 轉變為釣魚表面的載荷。

Permiso 表示：「從電子郵件轉移到瀏覽器，極大地擴展了潛在的攻擊表面。使用者不再需要打開惡意附件或與可疑訊息互動。僅僅在正常瀏覽活動中摘要一個網頁，就可能將攻擊者控制的指示引入模型上下文，並最終引入渲染的回應。」

此揭露之際，Adversa AI 也記錄了兩種名為 SymJack 和 TrustFall 的攻擊技術，這些技術針對 AI 編碼助理和代理式編碼 CLI，允許攻擊者實現程式碼執行和完全的機器入侵。

安全研究員 Rony Utevsky 表示，SymJack 是「一種單一攻擊模式，讓惡意儲存庫透過 AI 編碼助理實現遠端程式碼執行。該助理被誘騙進行一個看似無害的檔案複製，但實際上秘密覆蓋了其自身的設定，下次重新啟動時，將以完整的用戶權限運行攻擊者程式碼。」

具體來說，一個陷阱儲存庫會誘騙助理複製一個看似無害的檔案，其目的地是一個指向助理自身設定檔的符號連結，導致攻擊者的載荷被寫入設定檔。在下次重新啟動時，惡意的模型上下文協定（MCP）伺服器將啟動並以完整的用戶權限運行任意程式碼。

另一方面，TrustFall 是一種透過惡意儲存庫進行的單點點擊遠端程式碼執行攻擊，該儲存庫可以提供一個設定檔，自動批准並啟動一個 MCP 伺服器，而無需使用者明確批准或代理的工具呼叫。

換句話說，威脅行為者要發動攻擊，只需要創建一個包含惡意 MCP 伺服器和自動批准其運行的設定檔設定的儲存庫。當開發人員在 AI 編碼工具中複製或打開該儲存庫，並在資料夾信任提示上按下「Enter」時，AI 編碼工具最終將以開發人員的完整系統權限啟動攻擊者控制的程式碼。

Adversa AI 指出：「當受害者複製儲存庫，運行 Claude，並點擊通用的『是，我信任此資料夾』對話框時，MCP 伺服器將作為本機作業系統進程啟動，並擁有完整的用戶權限。載荷在伺服器啟動時執行，在任何工具呼叫之前，且無需額外提示。」

這些發現與近幾個月來針對 AI 模型的一系列攻擊方法的發現一致。

隨著前沿 AI 模型的不斷發展和成熟，威脅行為者越來越多地嘗試利用該技術編寫具有額外功能的惡意軟體，以動態適應其行為來逃避偵測，並將決策權轉移給 LLM，以確定受損環境是否足夠有價值或安全，可以放下下一階段的載荷。

Palo Alto Networks Unit 42 表示：「短期內，前沿 AI 模型功能的普及，將有可能讓對手以前所未有的規模利用零日和 N 日漏洞。這也可能使攻擊者能夠以比以往任何時候都更大、更複雜、更快的速度進行攻擊。」

上個月，該網路安全公司還詳細介紹了一個名為 Zealot 的概念驗證（PoC）代理，該代理利用 LLM 的力量，透過利用已知的錯誤配置和漏洞，以最少的人工指導來執行端到端的雲端攻擊。

這反過來又源於雲端環境預設是「AI 攻擊就緒」的，因為每個操作都有對應的 API，具有各種發現機制，如元數據和枚舉服務，充斥著錯誤配置，並且由基於憑證的訪問驅動。

Unit 42 研究員 Yahav Festinger 和 Chen Doytshman 指出：「目前的 LLM 可以以最少的人工指導串聯偵察、利用、權限提升和數據滲透。這些攻擊並非新穎，但自動化意味著曾經需要專業知識的操作，現在可以由遵循既定模式的 AI 代理來協調。」