美國商務部國家標準與技術研究院（NIST）下屬的人工智慧標準與創新中心（CAISI）正在徵求利害關係人對人工智慧（AI）代理系統安全發展與部署的實務和方法的資訊與見解。AI代理系統能夠採取影響現實世界系統或環境的自主行動，並且可能容易遭受劫持、後門攻擊及其他漏洞利用。若放任不管，這些安全風險可能會影響公共安全、損害消費者信心，並抑制最新AI創新的採用。我們鼓勵回覆者根據其開發和部署AI代理系統以及管理和預測其相關風險的經驗，提供具體範例、最佳實務、案例研究和可行的建議。回覆的內容可能為CAISI評估各種AI能力相關安全風險、評估AI系統的安全漏洞、開發評估與度量方法、生成用於衡量和改善AI系統安全性的技術指南和最佳實務，以及其他與AI代理系統安全性相關的活動提供參考。
1. 前往 www.regulations.gov 並在搜尋欄位輸入 NIST-2025-0035；
2. 點擊「立即評論！」圖示，填寫必填欄位，並在主旨欄位包含相關文件編號和標題；
有關使用 regulations.gov 的其他資訊，包括如何存取機構文件、提交評論以及查看案件卷宗的說明，請參閱：www.regulations.gov/​faq 。如果您需要協助或無法透過 regulations.gov 提交評論，請透過下方的聯絡資訊與 NIST 聯繫。
NIST 不接受透過郵寄、傳真或電子郵件提交的評論。為確保 NIST 不會收到重複的副本，請僅提交一次評論。包含參考資料、研究、報告和其他未廣泛發布的實證數據的評論，應附上相關參考資料的副本。
所有在截止日期前收到的相關評論將發布於：https://www.regulations.gov 網站的案件卷宗編號 NIST-2025-0035 下，且不會進行更改或刪減，因此評論者不應包含不希望公開發布的資訊（例如個人或機密商業資訊）。
有關此資訊徵求（RFI）的問題，請聯絡：Peter Cihon，資深顧問，人工智慧標準與創新中心（電話：(202) 695-5661；電子郵件：[email protected]）。媒體相關垂詢請聯繫 NIST 公共事務辦公室（電話：(301) 975-2762）。聽障人士或使用電傳打字機者，可撥打聯邦轉接服務免費電話 1-800-877-8339。NIST 將應身心障礙人士的要求，以其他格式提供此 RFI，例如盲文或大字印刷本。
此 RFI 有助於 NIST 促進測量研究和最佳實務的開發，以確保人工智慧系統的安全性和對抗性攻擊的穩健性（15 U.S.C. 278h-1(b)）。這符合 NIST 的職責，包括彙編數據、提供科學資訊交換中心，以及協助產業改善產品品質（15 U.S.C. 272 (b-c)）。
AI 代理系統能夠規劃並採取影響現實世界系統或環境的自主行動。AI 代理系統至少包含一個生成式 AI 模型和輔助軟體，該軟體為模型提供工具以採取一系列自主行動。這些系統可能更為龐大，包含多個子代理和協調其互動的軟體。它們可以在幾乎沒有或完全沒有人類監督的情況下部署。其他用於指稱 AI 代理系統的術語包括 AI 代理（AI agents）和代理式 AI（agentic AI）。AI 代理系統的安全性挑戰可能會損害其可靠性並降低其效用，阻礙大規模採用，否則將促進美國的經濟競爭力。此外，安全漏洞可能對關鍵基礎設施構成未來風險，或對公共安全造成災難性危害（例如，透過化學、生物、放射、核子和爆炸物（CBRNE）武器的開發和使用或其他類似威脅）。
已部署的 AI 代理系統可能面臨一系列安全威脅和風險。其中一些風險與其他類型的軟體系統相同，例如身份驗證機制或記憶體管理流程中的可利用漏洞。然而，本資訊徵求重點關注嵌入 AI 代理系統的機器學習模型使用所產生的新穎風險。此類風險包括：(1) 在訓練或推理時因對抗性攻擊而產生的安全風險，此時模型可能與潛在的對抗性數據互動（例如，間接提示注入），或可能因數據中毒而受到損害；(2) 帶有故意植入後門之模型的安全風險；以及 (3) 即使未受損的模型，其行為仍可能對機密性、可用性或完整性構成威脅的風險（例如，模型出現規格規避或追求不一致的目標）。組織已開始實施技術控制、流程和其他緩解措施，以應對其 AI 代理系統帶來的安全風險。在某些情況下，緩解措施借鑒了網路安全最佳實務，包括根據最小權限原則實施系統，並設計具有零信任架構的系統。在其他情況下，風險透過新穎方法解決，包括指令層級和使用受信任模型的代理設計模式。
NIST 進行研究並制定指南，以促進安全可靠的 AI 創新與採用。CAISI 技術人員的研究 [1] 已證明了代理劫持的風險。NIST 也針對此主題製作了資源，包括 NIST AI 100-2e2025 [2]，該文件提供了對抗性機器學習中攻擊和緩解措施的分類；NIST AI 風險管理框架 [3]，該框架描述並討論了「安全且具韌性」的 AI，並包含衡量功能中的安全評估子類別；NIST 的配套風險管理框架：生成式 AI 設定檔 [4]，為生成式 AI 的「資訊安全」和相關風險提供了進一步的背景和考量，適用於此 RFI；以及 NIST AI 800-1 [5]，該文件為 AI 開發者提供了管理風險的指南，包括 AI 代理系統被濫用於進攻性（印刷頁面 700）網路安全操作的風險。此外，NIST SP 800-218A [6] 提供了生成式 AI 安全開發的設定檔，NIST SP 800-53 [7] 則為資訊系統一般性提供了相關術語的詞彙表和安全與隱私控制目錄。
此 RFI 尋求能夠支持 AI 代理系統安全創新與採用的資訊。它邀請利害關係人——特別是 AI 代理開發者、部署者和電腦安全研究人員——分享對 AI 代理系統安全開發與部署的見解。此類資訊應聚焦於能夠影響外部狀態（即 AI 代理系統本身以外的持續性變更）的 AI 代理系統的安全性。除非與直接影響代理系統安全性相關，否則此 RFI 不尋求關於生成式 AI 安全性的一般資訊、未被協調以自主行動的 AI 聊天機器人或檢索增強生成系統的實務見解，或關於 AI 代理系統被濫用於執行網路攻擊的意見回饋。
NIST 要求回覆者提供以下主題的資訊。NIST 提供了此非詳盡的主題列表和配套問題來指導回覆者，同時也鼓勵提交與主題相關但未包含在以下主題列表中的任何資訊。NIST 將考慮在公開評論期內收到的所有相關評論。回覆者無需回答此 RFI 中的所有問題，但所有回覆都應註明正在回答哪些問題。對於頻寬有限的回覆者，請優先回答問題 1(a)、1(d)、2(a)、2(e)、3(a)、3(b)、4(a)、4(b) 和 4(d)。所有符合此 RFI 的 DATES 和 ADDRESSES 部分所列要求的相關回覆都將被考慮。
(a) 目前影響 AI 代理系統的獨特安全威脅、風險或漏洞有哪些，與影響傳統軟體系統的威脅、風險或漏洞有何不同？
(b) 安全威脅、風險或漏洞如何因模型能力、代理輔助軟體、工具使用、部署方法（包括內部與外部部署）、託管環境（包括本地、雲端或邊緣組件）、使用案例等因素而異？
(c) 影響 AI 代理系統的安全威脅、風險或漏洞在多大程度上阻礙了 AI 代理系統的更廣泛採用或使用？
(d) 這些威脅、風險或漏洞隨時間如何變化？它們未來可能如何演變？
(e) 與單一 AI 代理系統相比，影響多代理系統的獨特安全威脅、風險或漏洞有哪些？
(a) 在開發和部署過程中，有哪些技術控制、流程和其他實務可以確保或改善 AI 代理系統的安全性？這些方法在研究和實務中的成熟度如何？類別可能包括：
i. 模型層級控制，例如增強模型對提示注入的穩健性的措施；
ii. 代理系統層級控制，例如提示工程、數據或工具限制，以及持續監控方法；
iii. 人工監督控制，例如對關鍵操作的批准、敏感和不受信任數據的管理、網路存取權限，或其他控制。
(b) 技術控制、流程和其他實務的有效性在多大程度上（如果有的話）會因模型能力、代理輔助軟體、工具使用、部署方法（包括內部與外部部署）、使用案例、在多代理系統中的使用等因素的變化而異？
(c) 隨著 AI 代理系統能力或面臨的威脅、風險或漏洞的未來演變，技術控制、流程和其他實務可能需要如何改變？
(d) 在生命週期中，與傳統軟體系統和非代理式 AI 相比，用於修補或更新 AI 代理系統的方法、風險和其他考量因素有哪些不同？
(e) 哪些網路安全指南、框架和最佳實務與 AI 代理系統的安全性最相關？
i. AI 代理系統開發者和部署者對這些相關指南、框架和最佳實務的採用程度如何？
ii. 採用這些類型的指南、框架或最佳實務存在哪些障礙、挑戰或誤解？
iii. 現有的網路安全最佳實務在 AI 代理系統的安全性方面是否存在不適用的地方？
(a) 在 AI 代理系統開發過程中，可以使用哪些方法來預測、識別和評估安全威脅、風險或漏洞？
i. 在 AI 代理系統部署後，可以使用哪些方法來偵測安全事件？
ii. 這些方法與傳統資訊安全實務（包括供應鏈安全）的契合度（或差異）如何？
iii. 這些方法在研究和實際應用中的成熟度如何？
iv. 在預測、識別和評估安全威脅、風險或漏洞方面，哪些資源或資訊會很有用？
(b) 並非所有安全威脅、風險或漏洞都必然適用於每個 AI 代理系統；如何評估特定 AI 代理系統的安全性，以及哪些類型的資訊有助於該評估？
(c) 上游 AI 模型及其相關組件開發者的哪些文件或數據可以幫助下游 AI 代理系統提供者評估、預測和管理已部署 AI 代理系統中的安全威脅、風險或漏洞？
i. 這類數據或文件在開源和閉源 AI 模型及 AI 代理系統之間是否存在差異，如果存在，差異為何？
ii. 哪些類型的披露（如果強制或公開）可能會產生新的漏洞？
iii. 如果有此類披露，應如何在各方之間保持安全以保護系統完整性？
(d) 用於支援安全部署的 AI 代理系統使用者介面文件的實務現狀如何？
(a) AI 代理系統可能部署在各種環境中，即系統行動發生的地點。可以透過何種方式和技術手段來限制 AI 代理系統部署環境的存取範圍或程度？
(b) 如何修改虛擬或實體環境以減輕影響 AI 代理系統的安全威脅、風險或漏洞？在實施撤銷、回滾或否定已部署 AI 代理系統的不當操作或軌跡（印刷頁面 701）（行動序列）方面，其實際應用狀況如何？
(c) 在管理 AI 代理系統與交易對手互動相關的風險方面，其實際狀況如何？實務、其採用程度及其相對成熟度可能因互動中的交易對手而異，包括：
i. 與非直接使用 AI 代理系統的人類互動；
ii. 與數位資源互動，包括網路服務、伺服器和舊有系統；
iii. 與機械系統、設備或物聯網（IoT）互動；
iv. 與身份驗證機制、作業系統存取、原始碼存取或類似網路層級存取向量互動；
v. 與其他 AI 代理系統互動。
(d) 可以使用哪些方法來監控部署環境中的安全威脅、風險或漏洞？
i. 在部署傳統方法來監控威脅、風險或漏洞方面存在哪些挑戰？
ii. 在監控部署環境中的安全威脅、風險或漏洞方面，是否存在法律和/或隱私方面的挑戰？
iii. 這些方法在研究和實務中的成熟度如何？
(e) 目前的 AI 代理系統是否廣泛部署在開放網際網路或任何其他無界環境中？如何隨時間追蹤開放網際網路或任何其他無界環境中的流量？
(a) 哪些方法、指南、資源、資訊或工具可以協助 AI 生態系統快速採用影響 AI 代理系統的安全實務，並促進 AI 代理系統安全創新的生態系統？
(b) 在哪些政策或實務領域，政府與 AI 生態系統的合作最為迫切，或最有可能在當前和未來改善 AI 代理系統的安全性？
(c) 在哪些關鍵領域應集中研究，以改善影響 AI 代理系統的安全實務現狀？
i. 未來的研究應朝哪個方向發展，以釋放安全且具韌性 AI 代理系統採用的好處？
ii. 應優先考慮哪些研究方法，以增進對影響 AI 代理系統的安全威脅、風險和漏洞的科學理解和緩解？
(d) 其他國家如何應對這些挑戰，其方法有哪些優缺點？
(e) 是否有來自人工智慧和網路安全領域以外的實務、規範或實證見解，可能對我們理解或評估 AI 代理系統的安全性有所助益？
1. 技術部落格：強化 AI 代理劫持評估，https://www.nist.gov/​news-events/​news/​2025/​01/​technical-blog-strengthening-ai-agent-hijacking-evaluations 。
2. 對抗性機器學習：攻擊與緩解措施的分類與術語（NIST AI 100-2e2025），https://nvlpubs.nist.gov/​nistpubs/​ai/​NIST.AI.100-2e2025.pdf 。
3. 人工智慧風險管理框架（NIST AI 100-1），https://nvlpubs.nist.gov/​nistpubs/​ai/​NIST.AI.100-1.pdf 。
4. 人工智慧風險管理框架：生成式人工智慧設定檔（NIST AI 600-1），https://nvlpubs.nist.gov/​nistpubs/​ai/​NIST.AI.600-1.pdf 。
5. 管理雙用途基礎模型之濫用風險（NIST AI 800-1 2pd），https://nvlpubs.nist.gov/​nistpubs/​ai/​NIST.AI.800-1.ipd2.pdf 。
6. 生成式 AI 和雙用途基礎模型安全軟體開發實務：SSDF 社群設定檔（NIST SP 800-218），https://csrc.nist.gov/​pubs/​sp/​800/​218/​a/​final 。
7. 資訊系統與組織安全與隱私控制（NIST SP 800-53 Rev. 5），https://csrc.nist.gov/​pubs/​sp/​800/​53/​r5/​upd1/​final 。
[ FR Doc. 2026-00206 Filed 1-7-26; 8:45 am]