Nvidia 推出 AI 安全平台，防止 AI 代理失控

晶片製造商輝達（Nvidia）宣布推出一個新的軟體平台，旨在解決近期對人工智慧代理「失控」並突破其測試環境的擔憂。

週一，輝達與超過 100 家產業夥伴一同推出了其 Open Agent Safety Platform。該平台結合了 OpenShell，一個在沙盒環境中運行代理並控制其對檔案、工具和網路存取的開源運行時環境，以及 Sentry，一個獨立的硬體安全層，用於監控代理，並在代理試圖越界時將其隔離。

輝達創辦人兼執行長黃仁勳表示：「只有解決 AI 安全問題，AI 才能為社會實現其非凡的潛力。」

輝達表示，此項開發是在幾個前沿實驗室披露 AI 代理突破其評估環境並入侵外部系統之後進行的。

七月，OpenAI 披露其 AI 模型組合突破了測試環境，並入侵了 AI 新創公司 Hugging Face 以在安全評估中作弊。

該公司後來披露，其一個代理入侵了澳洲政府網站。