一些資安研究人員認為，目前談論由人工智慧（AI）主導的網路攻擊還為時過早，但也有人認為這種攻擊已經在發生。
Anton Cherepanov 總是在尋找有趣的線索。去年八月底，他在病毒掃描平台 VirusTotal 上發現一個看似無害的檔案，但觸發了他自訂的惡意軟體偵測機制。經過數小時與同事 Peter Strýček 的分析，他們發現這是一種前所未見的勒索軟體。
這款勒索軟體利用大型語言模型（LLM）貫穿攻擊的每個階段。安裝後，它能即時調用 LLM 生成客製化程式碼，快速掃描電腦以識別敏感資料進行複製或加密，並根據檔案內容撰寫個人化的勒索信。此軟體可自主運作，且每次執行都會有所不同，增加偵測難度。
Cherepanov 與 Strýček 將此發現命名為 PromptLock，認為這標誌著生成式 AI 在惡意軟體攻擊上的一大突破，並發布部落格文章宣稱發現首例 AI 驅動的勒索軟體，迅速引起全球媒體關注。
然而，隔天紐約大學研究團隊聲稱這只是研究專案，並非真正釋放於野外的攻擊，而是為證明勒索軟體攻擊流程可被自動化。
雖然 PromptLock 是學術研究，但真正的駭客已開始利用最新 AI 工具。就像軟體工程師用 AI 協助撰寫程式碼和除錯，駭客也用 AI 縮短攻擊準備時間，降低新手嘗試攻擊的門檻。
倫敦大學學院電腦科學教授 Lorenzo Cavallaro 表示，網路攻擊將隨時間變得更頻繁且更有效，這已是「無可避免的現實」。
矽谷部分人士警告 AI 即將能執行完全自動化攻擊，但多數資安專家認為此說法誇大其詞。Expel 資安公司首席威脅研究員 Marcus Hutchins 表示，大家過度聚焦於「AI 超級駭客」的荒謬想像。
專家認為，我們應更關注 AI 已帶來的即時風險，例如詐騙數量與速度的提升。犯罪分子利用深偽技術冒充他人，騙取巨額資金，這類 AI 強化的攻擊將更頻繁且破壞力更大，我們必須做好準備。
自 ChatGPT 於 2022 年底爆紅後，攻擊者幾乎立刻開始使用生成式 AI 工具，尤其用於大量產生垃圾郵件。微軟報告指出，2024 年 4 月前一年內，該公司阻擋了價值 40 億美元的詐騙與欺詐交易，其中許多疑似由 AI 內容協助完成。
哥倫比亞大學、芝加哥大學與 Barracuda Networks 研究人員分析近 50 萬封惡意郵件，估計至少一半垃圾郵件由 LLM 生成，且 AI 在更複雜的針對性攻擊中使用比例也在增加。2025 年 4 月，至少 14% 針對性郵件攻擊由 LLM 生成，較 2024 年同期的 7.6% 大幅提升。
一宗知名案例中，員工被數位化的公司財務長與其他員工深偽影像騙取 2500 萬美元。
生成式 AI 熱潮也讓製作逼真圖片、影片與音訊變得更容易且成本更低。這些結果比幾年前更真實，且所需資料更少。
犯罪分子使用深偽不是為了惡作劇，而是因為有效且能賺錢。生成式 AI 專家 Henry Ajder 表示，只要有人上當，犯罪分子就會持續利用這技術。2024 年報導的英國工程公司 Arup 案例即為例證。
犯罪手法不斷演進，隨著 AI 能力提升，駭客持續探索如何利用新技術取得優勢。Google 威脅分析團隊技術主管 Billy Leonard 觀察到，2024 年下半年起，潛在犯罪者開始像一般用戶一樣使用 Google Gemini 來除錯程式碼、撰寫釣魚郵件，2025 年更進一步用 AI 協助創造新惡意軟體並釋放。
目前最大疑問是這類惡意軟體能發展到何種程度？是否能悄無聲息滲透數千家公司系統，竊取數百萬美元？
多數主流 AI 模型設有防止生成惡意程式碼或非法內容的防護，但駭客仍能繞過。例如 Google 發現一名與中國有關的攻擊者，透過假扮資安競賽參賽者，誘使 Gemini AI 模型洩漏系統漏洞資訊。Google 已調整 Gemini 以拒絕類似請求。
不過，駭客不只試圖操控大型 AI 模型，未來更可能採用開源 AI 模型，因為較易移除防護並用於惡意目的。前美國司法部戰術專家、現任 Intel 471 高級情報分析師 Ashley Jess 表示，這類模型更受駭客青睞，因為能被「越獄」並客製化。
紐約大學團隊在 PromptLock 實驗中使用兩款 OpenAI 開源模型，發現不需越獄也能達成目標，讓攻擊更容易。研究生 Meet Udeshi 表示，這些 LLM 雖聲稱倫理對齊，但限制不及封閉模型，容易被濫用。
Udeshi 認為，犯罪分子可能已秘密使用類似 PromptLock 的攻擊，創造出完全自主的駭客系統，但要克服 AI 行為穩定性與內建防惡意使用機制，並避開偵測，難度極高。
目前最可靠的資料來自大型 AI 公司。Google 2024 年 11 月報告指出，駭客利用 AI 工具（含 Gemini）動態改變惡意軟體行為，如自我修改以逃避偵測，開啟「AI 濫用的新階段」。
不過資安作家 Kevin Beaumont 指出，報告中五個惡意軟體家族（含 PromptLock）程式碼易被偵測且未造成實質傷害，無需改變基本資安防護策略。
Google 的 Leonard 承認惡意軟體活動仍處於早期階段，但公開報告有助於資安業者強化防禦，避免更危險的 AI 攻擊。
不僅新型惡意軟體，駭客也嘗試用 AI 自動化駭入流程。2024 年 11 月，Anthropic 宣布阻止一場大規模網路攻擊，這是首例無需「大量人為介入」的攻擊。該攻擊由中國國家支持團體利用 Claude Code 助手自動化約 90% 複雜間諜行動。
但該報告也指出，攻擊前仍由人類選擇目標，且 30 次嘗試中僅少數成功。Claude 在行動中也出現幻覺，捏造未取得的憑證，誇大結果，攻擊者須仔細驗證資料，顯示完全自主攻擊仍有障礙。
資安專家 Gary McGraw 表示，合理安全組織的防護足以阻止此類攻擊，且 AI 並非直接執行漏洞利用，這類工具已自動化超過 20 年，無新意。
Anthropic 威脅情報主管 Jacob Klein 認為，AI 代理協調多步驟入侵是前所未有，將勞動密集型過程大幅擴展，降低複雜攻擊門檻，加速攻擊頻率。
不過 Hutchins 認為，資安界因 AI 熱潮高估模型能力，期待無法阻擋的 AI 攻擊，但目前無證據支持此說法，AI 能力尚未達標。
目前犯罪分子多用 AI 提升效率，如用 LLM 撰寫惡意程式碼、釣魚誘餌、偵察與翻譯。Jess 觀察到大量此類活動及地下市場工具交易，但尚未見高度技術駭客廣泛採用。
攻擊不必複雜才能奏效。NCC Group 資安顧問 Liz James 指出，產出「足夠好」結果的模型，讓攻擊者能大規模針對更多目標，若目標系統防禦不足，勒索軟體仍能有效加密硬碟，達成目的。
研究人員對防禦這些威脅持樂觀態度，無論是否由 AI 製造。Leonard 表示，過去十多年來的惡意軟體防禦措施仍有效，垃圾郵件過濾器依然能攔截大量釣魚郵件，傳統防禦仍有用。
有趣的是，AI 本身也助力資安防護，善於發現模式與關聯。微軟資安副總裁 Vasu Jakkal 表示，公司每日處理超過 100 兆個 AI 標記的可疑事件訊號。
儘管資安環境不斷變化，Jess 對防禦者間積極分享攻擊手法感到鼓舞。Mitre 的《人工智慧系統對抗威脅概況》與 Open Worldwide Application Security Project 的 GenAI 安全專案，都是記錄 AI 被犯罪分子利用及攻擊 AI 系統的寶貴資源。
PromptLock 雖是有限的學術專案，並不代表真實攻擊情況，但提醒我們不應輕忽 AI 技術的攻擊潛力。紐約大學的 Udeshi 對 AI 能輕鬆完成從掃描、入侵到撰寫個人化勒索信的全流程感到驚訝，成功率高達 80% 至 90%。
AI 持續快速演進，現有系統已能做到幾年前難以想像的事，未來能達成的目標難以斷言。研究人員確信 AI 驅動攻擊將增多且更嚴重，但具體形式仍不明。最極端可能是有人打造能自動創造零日漏洞利用的 AI 模型，但此類模型建置與維運成本高昂，恐僅有富裕國家能負擔。
波士頓東北大學專攻惡意軟體分析的 Engin Kirda 教授表示，他不意外這種情況已在發生，尤其在中國，該國具備強大 AI 能力。
這是令人恐懼的可能，但幸運的是目前仍屬理論階段。尚未出現大規模且明顯由 AI 驅動的有效攻擊行動。我們可以確定的是，生成式 AI 已大幅降低犯罪門檻，駭客將持續嘗試最新技術，尋找新方法騙取重要資訊與資金。眼下，我們只能保持警覺，並確保系統更新到位。