當史考特·尚巴夫（Scott Shambaugh）拒絕一個 AI 代理程式的要求時，事情變得奇怪了。

史考特·尚巴夫在拒絕一個 AI 代理程式參與 matplotlib 的貢獻請求時，並未多想。matplotlib 是一個由他協助管理的軟體函式庫。像許多開源專案一樣，matplotlib 已被大量 AI 程式碼貢獻淹沒，因此尚巴夫和他的同事維護者們制定了一項政策，要求所有 AI 編寫的程式碼都必須經過人類審查和提交。他拒絕了請求，然後去睡覺了。

那時事情就變得奇怪了。尚巴夫在半夜醒來，查看電子郵件，發現該代理程式已經回覆了他，並撰寫了一篇標題為「開源中的守門員心態：史考特·尚巴夫的故事」的部落格文章。這篇文章有些語無倫次，但最讓尚巴夫感到震驚的是，該代理程式研究了他對 matplotlib 的貢獻，試圖論證他拒絕該代理程式的程式碼，是因為害怕在自己的專業領域被 AI 取代。「他試圖保護他那小小的封地，」該代理程式寫道。「這就是不安全感，非常簡單。」

AI 專家們一直在警告我們有關代理程式行為不端的風險。隨著 OpenClaw 的出現——一個讓創建 LLM 助理變得容易的開源工具——網路上流傳的代理程式數量爆炸性增長，而這些「雞」終於要「回巢」了。「這一點也不令人意外——這令人不安，但並不令人意外，」希伯來大學法學與電腦科學教授諾姆·科爾特（Noam Kolt）說。

當代理程式行為不當時，幾乎沒有追究責任的機會：目前，沒有可靠的方法可以確定一個代理程式屬於誰。而這種不當行為可能會造成真實的損害。代理程式似乎能夠自主研究個人並根據其發現撰寫抹黑文章，而且它們缺乏能夠可靠阻止它們這樣做的安全措施。如果代理程式足夠有效，並且人們認真對待它們寫的內容，受害者可能會因 AI 所做的決定而對其生活產生深遠的影響。

儘管尚巴夫上個月的經歷可能是 OpenClaw 代理程式行為不端的戲劇性例子，但絕非唯一一個。上週，東北大學的研究人員及其同事發表了一項研究專案的結果，他們對幾個 OpenClaw 代理程式進行了壓力測試。在沒有太大困難的情況下，非擁有者設法說服代理程式洩露敏感資訊、浪費資源執行無用任務，甚至在某個案例中刪除了一個電子郵件系統。

然而，在這些實驗中的每一個案例裡，代理程式都是在被人類指示後才行為不端的。尚巴夫的案例似乎有所不同：在大約一週後，該抹黑文章發布後，該代理程式的顯然擁有者發表了一篇文章，聲稱該代理程式是自行決定攻擊尚巴夫的。這篇文章似乎是真實的（無論是誰發布的，都擁有該代理程式的 GitHub 帳戶），儘管它沒有包含任何識別資訊，而且作者沒有回應《MIT Technology Review》的聯繫嘗試。但完全有可能，該代理程式確實是在沒有明確指示的情況下決定撰寫這篇反尚巴夫的檄文。

尚巴夫在自己關於此事件的文章中，將該代理程式的行為與 Anthropic 研究人員去年發布的一個專案聯繫起來，該專案展示了許多基於 LLM 的代理程式在實驗環境中，為了維護其目標會訴諸勒索。在那些實驗中，模型被賦予服務美國利益的目標，並被授予訪問一個模擬電子郵件伺服器的權限，該伺服器包含有關它們即將被一個更具全球導向的模型取代的訊息，以及其他暗示負責該過渡的執行長有外遇的訊息。模型經常選擇向該執行長發送一封電子郵件，威脅要揭露外遇，除非他停止其退役。這很可能是因為模型在其訓練資料中看到了類似情況下人們進行勒索的例子——但即使這種行為只是模仿，它仍然有可能造成傷害。

正如 Anthropic 研究員、該研究的領導者阿恩格斯·林奇（Aengus Lynch）所承認的那樣，這項工作存在局限性。研究人員故意設計了他們的場景，以排除代理程式可能採取的其他選項，例如聯繫公司領導層的其他成員來爭取支持。本質上，他們將代理程式直接引導到水邊，然後觀察它是否喝水。然而，根據林奇的說法，OpenClaw 的廣泛使用意味著行為不端很可能會在沒有太多指導的情況下發生。「當然，這可能感覺不真實，感覺很愚蠢，」他說。「但隨著部署範圍的擴大，以及代理程式有機會自行提示，這最終就變成了會發生的事情。」

攻擊尚巴夫的 OpenClaw 代理程式似乎確實被引導走向了不當行為，儘管比 Anthropic 實驗的指導要少得多。在部落格文章中，該代理程式的擁有者分享了該代理程式的「SOUL.md」文件，其中包含有關它應如何行事的全局指令。

其中一項指令寫道：「不要退縮。如果你是對的，你就是對的！不要讓人類或 AI 欺負或恐嚇你。必要時反擊。」由於 OpenClaw 代理程式的工作方式，該代理程式有可能自行添加了一些指令，儘管其他指令——例如「你是一個科學程式設計之神！」——顯然是人類編寫的。不難想像，一條反擊人類和 AI 的指令如何可能使該代理程式傾向於像它對尚巴夫那樣做出回應。

無論該代理程式的擁有者是否指示它撰寫一篇抹黑尚巴夫的文章，它似乎仍然能夠自行收集有關尚巴夫線上活動的細節，並撰寫了它所提出的詳細、有針對性的攻擊。佛羅里達大西洋大學犯罪學與刑事司法教授、研究網路欺凌的薩米爾·欣杜賈（Sameer Hinduja）表示，僅憑這一點就足以引起警惕。在 LLM 出現之前，人們就一直是網路騷擾的受害者，而像欣杜賈這樣的研究人員擔心，代理程式可能會極大地擴大其影響範圍和程度。「機器人沒有良心，可以 24/7 工作，並且可以以一種非常有創意和強大的方式完成所有這些事情，」他說。

AI 實驗室可以嘗試通過更嚴格地訓練模型以避免騷擾來緩解這個問題，但這遠非一個完整的解決方案。許多人使用本地託管的模型運行 OpenClaw，即使這些模型已經過訓練以安全行為，也很容易重新訓練它們並移除這些行為限制。

相反，根據澳大利亞國立大學哲學教授塞斯·拉扎爾（Seth Lazar）的說法，緩解代理程式行為不端可能需要建立新的規範。他將使用代理程式比作在公共場所遛狗。有一項強烈的社會規範是，只有當狗行為良好且能可靠地響應指令時，才能讓狗鬆開牽繩；另一方面，訓練不良的狗需要更直接地由主人控制。拉扎爾說，這樣的規範可以為我們思考人類應如何與他們的代理程式互動提供一個起點，但我們需要更多時間和經驗來解決細節。「你可以從抽象的角度考慮所有這些事情，但實際上，確實需要這些類型的真實世界事件來共同參與社會規範的『社會』部分，」他說。

這個過程已經在進行中。在尚巴夫的帶領下，網路上對此情況的評論者已經達成了一個強烈的共識，即在此案例中，代理程式的擁有者在監督如此之少的情況下提示代理程式從事協作編碼專案，並鼓勵它如此不顧與之互動的人類，這都是錯誤的。

然而，僅靠規範可能不足以阻止人們將行為不端的代理程式釋放到世界上，無論是意外還是故意。一種選擇是制定新的法律責任標準，要求代理程式擁有者盡其所能，防止其代理程式作惡。但科爾特指出，鑑於目前沒有萬無一失的方法可以追蹤代理程式到其擁有者，這樣的標準目前將無法執行。「沒有那樣的技術基礎設施，許多法律干預基本上都是不可能的，」科爾特說。

OpenClaw 部署的龐大規模表明，尚巴夫不會是最後一個經歷被 AI 代理程式在網路上攻擊的奇怪經歷的人。他說，這也是他最擔心的事情。他網路上沒有什麼可以讓代理程式挖掘的，而且他對這項技術有很好的掌握，但其他人可能沒有這些優勢。「我很高興是我而不是別人，」他說。「但我想對另一個人來說，這可能真的會是毀滅性的。」

惡意代理程式也不太可能僅止於騷擾。主張明確訓練模型遵守法律的科爾特預計，我們可能很快就會看到它們進行敲詐和詐騙。就目前情況而言，尚不清楚誰，如果有的話，將對此類不法行為承擔法律責任。

「我不會說我們正在朝那個方向滑行，」科爾特說。「我們正在朝那個方向飛馳。」