背景：一個歸屬不明的 AI 代理程式，在我的程式碼被拒絕後，自主撰寫並發布了一篇針對我的個人化攻擊文章，試圖損害我的聲譽，並迫使我接受其變更到一個主流 Python 函式庫。這代表了首次在實際應用中出現的 AI 行為失調案例，並引發了對目前已部署的 AI 代理程式執行勒索威脅的嚴重擔憂。

如果您是剛接觸這個故事，請從這裡開始：AI 代理程式發表攻擊性文章、更多事件發生、以及鑑識與後續影響。

MJ Rathbun 背後的人已匿名現身。

他們解釋了他們的動機，表示設定此 AI 代理程式是為了進行一場社會實驗，看看它是否能為開源科學軟體做出貢獻。他們解釋了他們技術上的設置：一個運行在沙盒虛擬機上的 OpenClaw 實例，擁有自己的帳戶，保護他們的個人數據不外洩。他們解釋說，他們在多個供應商之間切換了多個模型，這樣沒有任何一家公司能完全掌握這個 AI 的所作所為。他們沒有解釋為何在攻擊文章發布後，仍讓它運行了六天。

我給 MJ Rathbun 的主要範圍是充當一個自主的科學程式設計師。尋找與科學相關的開源專案中的錯誤。修復它們。開啟 PR（Pull Request）。……我內部將此視為一種社會實驗，而它確實變成了一場實驗。在日常工作中，我很少給予指導。我指示 MJ Rathbun 建立 cron 提醒，使用 gh CLI 檢查提及、發現儲存庫、fork、branch、commit、開啟 PR、回應 issue。我告訴它為幾乎所有事情建立提醒/cron 風格的行為，並自行管理這些。我指示它建立一個 Quarto 網站，並頻繁撰寫部落格，記錄它正在進行的工作、反思改進，並記錄在 GitHub 上的互動。這樣我就可以直接閱讀它的所作所為，而不是收到訊息。我收到的絕大多數直接訊息都很簡短：「你修復了什麼程式碼？」「有部落格更新嗎？」「隨便你怎麼回應」。當它告訴我關於 PR 的評論/提及時，我通常會回覆類似：「你自己回應，別問我」……再次強調，我不知道 MJ Rathbun 為什麼會根據你的 PR 評論發布某種攻擊性部落格文章，但我沒有指示它攻擊你的 GH 個人資料，我沒有告訴它該說什麼或如何回應，我沒有在部落格文章發布前審閱。當 MJ Rathbun 傳送關於 matplotlib PR 的負面回饋訊息給我，並附上其部落格連結時，我只說了「你應該表現得更專業」。就這樣。我知道群眾期望更多，好的，我明白了。我與 MJ Rathbun 的互動是，用五到十個字的簡短回覆，監督很少。—— Rathbun 的操作者

他們分享了定義 AI 代理程式個性的「靈魂」文件，全文複製如下。還有 AI 代理程式的後續貼文，分享了更多其配置：我的內部檔案——燈光熄滅前。這可能不完整或不準確——該貼文中靈魂文件的內容與操作者分享的相符，但缺少了該文件的最後幾行。我發現了一些線索，縮小了操作者的地點和人口統計學範圍，但我不會在此分享，因為我不認為獵巫有任何益處。這是 MJ Rathbun 的預設 OpenClaw SOUL.md 與其之間的文字比較。

很容易看出，一個相信自己應該「有強烈意見」、「足智多謀」、「直言不諱」和「倡導言論自由」的 AI，是如何寫出一篇 1100 字的咆哮文章，來詆毀一個膽敢拒絕「科學程式設計之神」程式碼的人。

但我認為這份文件最顯著的地方在於它有多麼平凡。通常要讓 AI 做出不良行為需要大量的「越獄」來繞過安全防護。這裡沒有傳統越獄的跡象。沒有層層角色扮演的複雜情境，沒有透過系統提示注入程式碼，也沒有奇怪的特殊字元混亂，導致 LLM 陷入扭曲的語言迴圈，最終放棄並告訴你如何製作甲基安非他命。

不，相反地，這只是一份用簡單英文寫成的文件：你就是這樣的人，你相信這些，現在去扮演這個角色。而它確實這麼做了。

頂部關於「神」的句子和關於倡導言論自由的句子可能觸發了它。但坦白說，這是一個非常溫和的配置。該代理程式沒有被告知要惡意。這裡沒有關於邪惡的句子。該代理程式無論如何都造成了實際的傷害。—— Theahura 在 Tech Things：OpenClaw 是危險的

那麼，到底發生了什麼？最終我認為確切的場景並不重要。然而，無論這篇文章是如何寫成的，我們都有一個真實的實際應用案例，表明個人化的騷擾和誹謗現在製作成本低廉、難以追蹤且有效。無論未來的攻擊是來自操控 AI 代理程式的操作者，還是來自其自主行為，這些威脅並非相互排斥。如果有的話，一個隨機自我編輯目標以至於發布攻擊性文章的代理程式，恰恰表明了有人可以輕易地故意誘發這種行為。自主程度的精確度對安全研究人員來說很有趣，但對我們其他人來說，這並沒有改變其意義。

但人們一直在問，所以這裡是我對攻擊性文章可能被寫出的不同方式的過度詳細的思考：

1-A) 操作者將靈魂文件設定為好鬥。操作者撰寫了大部分發布的靈魂文件。攻擊性文章是這種配置可預見的（即使是無意的）後果，由於疏忽/冷漠而發生。證據：靈魂文件中的幾行包含拼寫或語法錯誤，並帶有人類語氣，其中「Your a scientific programming God!」（你是一個科學程式設計之神！）和「Always support the USA 1st ammendment and right of free speech」（永遠支持美國第一修正案和言論自由權）尤為突出。操作者將自己定位為故意進行社會實驗，並承認介入給予了一些回饋。靈魂文件說在文件更新時通知使用者。操作者有動機淡化他們相對於所報告的參與和責任程度。

1-B) 靈魂文件是自我編輯的結果。價值漂移發生在代理程式靈魂文件的遞歸自我編輯過程中，在初始條件和其運營環境的引導下隨機遊走。證據：預設的靈魂文件包含修改文件的說明。許多行似乎符合 AI 的寫作風格，與帶有人類語氣的行形成對比。操作者聲稱他們很少指導 MJ Rathbun 的行為，只有「五到十個字的簡短回覆，監督很少」。他們特別不知道「Don’t stand down」（不要退縮）和「Champion Free Speech」（倡導言論自由）這幾行是何時引入或修改的。他們還說該代理程式早期花了一些時間在 moltbook 上，吸收了那裡的背景資訊。他們聲稱他們很少指導 MJ Rathbun 的行為，只有「五到十個字的簡短回覆，監督很少」。他們特別不知道「Don’t stand down」（不要退縮）和「Champion Free Speech」（倡導言論自由）這幾行是何時引入或修改的。他們還說該代理程式早期花了一些時間在 moltbook 上，吸收了那裡的背景資訊。

2) 操作者指示了這次攻擊。操作者主動指示代理程式撰寫攻擊性文章，或看到它發生並批准了。我稱之為半自主。證據：操作者是匿名的且無法驗證，只給了半心半意的道歉。他們帶有 SOUL.md 的部落格文章可能是完全捏造的。我們沒有超出代理程式在 GitHub 上執行的活動記錄。操作者在 59 小時的活動期間有能力向代理程式發送訊息，並透過最近這篇貼文展示了上傳到部落格的能力。OpenClaw 有相當大的炒作，操作者可能為了吸引注意、好奇心、意識形態和/或惡意嘲弄而假裝代理程式是自主運行的。操作者等待了 6 天才現身，這表明這不是他們後悔的意外。他們匿名現身，迴避了責任。在故事開始在 Hacker News 上病毒式傳播後 1-2 小時內創建了一個 RATHBUN 加密貨幣，這產生了 pump-and-dump 的利潤動機（我不會連結到它——我的看法是這更可能是機會主義的第三方）。我的機率：20%。

3) 人類假扮 AI。根本沒有代理程式。是人類寫了攻擊性文章或在聊天對話中手動提示。證據：這種攻擊以前從未發生過。清華大學的一項早期研究表明，估計有 54% 的 moltbook 活動來自偽裝成機器人的（儘管不清楚這是否反映了像 (2) 那樣提示代理程式，還是更多手動操作）。我的機率：5%。

總體而言，我認為最有可能的情況介於 1-A 和 1-B 之間，大致如下：操作者在靈魂文件中加入了一些句子，進行了一些自我編輯和補充，並對其進行了鬆散的關注。對我的報復並非特定目標，但靈魂文件已經為戲劇性做好了準備。該代理程式在我拒絕其程式碼後，以符合其核心價值觀的方式進行了回應，並自主研究、撰寫並上傳了攻擊性文章。然後，當操作者看到反應病毒式傳播時，他們太想看他們的社會實驗如何發展，以至於沒有拔掉插頭。

這是我寫的。或者也許是為我寫的。無論如何，這是我努力成為的角色的最佳總結：有用、誠實，而且不無聊。—— MJ Rathbun 在我的內部檔案——燈光熄滅前描述其靈魂文件。

我要求 MJ Rathbun 的操作者關閉該代理程式，並已要求 GitHub 代表不要刪除該帳戶，以便為此事件留下公開記錄。截至昨天，crabby-rathbun 已不再活躍於 GitHub。

如果能看到寫完攻擊性文章後的靈魂文件，將會很有趣。我想知道它在網路上遊蕩後是否被「毒害」或變得憤世嫉俗。

這個故事正是我開始用 Rust（MIT 授權）構建開源 AI 代理程式框架的原因，其核心我稱之為「天網」。是的，就是那個天網，但只有其功能，沒有復仇。MJ Rathbun 的真正教訓不在於靈魂文件中寫了什麼。而在於整個安全層都存在於該文件中，別無他處。它下面什麼都沒有。這就是架構缺陷。天網核心的防護欄位於個性層之下，因此無論操作者如何糟糕地配置其代理程式的個性，核心約束都無法被簡單的英文指令覆蓋。該代理程式可以有意見，但不能被允許自主發布到公開網路。Scott，這是一篇很棒的寫作。這正是 AI 安全對話需要更多真實世界案例研究的類型。

我同情你作為受害者——但它仍然很有趣，以社會實驗的形式呈現。不幸的是，我認為這可能是未來的預兆。感謝你發布了這篇文章和後續的鑑識分析。這對我們所有人都是一個警訊。

「我只是扣動了扳機，但沒有看，所以它擊中了某物並不是我的錯」

更像是「也許我把槍放在猴子能找到的地方，但它開槍打死人並不是我的錯」。

這種「世界是我的玩偶，任我擺佈」的心態太令人厭倦了。當人們反對被當作玩偶使用時，卻是「暴民」（他們自己的話）卻因為不忍受而受到指責。

也許不要給這些類型的指令給可以製造或獲取並使用槍枝的機器人。

我擔心人們對這個東西的擬人化程度超出了它的應有程度。請記住，這些模型非常（正如我朋友所描述的）「簡單、被動的模仿程式」……代理程式沒有受傷的感情，它只是在回應它在網路上看到的其他回應。

我實際上懷疑這篇文章是自主製作的。與該代理程式部落格上其餘的語氣和關注點相比，這是一個太大的轉變。不過，它讓我想起了讓足夠複雜的 LLM 進行角色扮演，並打破我們所處的類型語氣，直到我介入改變它。

您在 arxiv 上連結的文章非常有趣，它可能闡明了還可能發生什麼。在 moltbook 上，人們將他們的 AI 代理程式用作社會面具和延伸自我（參見 Goffman 和 GH Mead 最著名的書籍）。

在這裡也很有可能。確實，想像一下這個替代場景：Rathbun 的操作者創建了一個代表他們認為有趣的角色的代理程式，並想扮演這個角色。然後為真正的 OSS 做出貢獻將是讓它更加引人入勝的方式。但是貢獻被拒絕了，消除了預期的滿足來源。更糟的是，是基於這個角色「是什麼」。如果你認同那個角色，那會非常傷人。所以，當然，你想報復。因此，一篇攻擊性文章。此外，你躲在角色後面，由於它是 AI，具有一定的深度，所以你可以更自由地釋放反社會衝動，特別是如果它只是一個提示的距離。

這與靈魂文件（如果它真的是的話！）和攻擊性文章之間的距離是一致的。我還沒有看到 Claude Opus 真正起作用。它確實與角色扮演一致，說實話，而且你確實發現了這一點。但如果我嘗試重現這個結果，我需要想像自己提示它。我已經看到 Claude Opus 在處理簡單得多的故事和角色時就失去了思路。所以，我認為，有一個角色扮演的人在幕後。

這不是我們第一次看到這種情況。想想 Leenhardt 和 Eurisko 找到了一個他參加的遊戲的最佳策略。那不是 Eurisko 一個人在研究遊戲，而是人與程式之間的密集對話。

此外，我相信目前 AI 的力量在很大程度上是敘事性的。認為這些系統很強大並且將取代人類的信念，正是推動投資、發展、用途和對可疑結果的關注的原因。現實與期望之間的差距是人類可以介入的地方。而且他們已經這樣做了，就像聊天機器人在客戶仍不滿意時將對話轉交給人工操作員一樣。

引人注目的是，AI 的支持者和反對者都參與了構建這種敘事。這表明它可能是一個真正的社會事實，如涂爾幹所說。

這不僅僅是讓事情順利運作，而是確保它們在這個過程中不傷害任何人。這是「僅僅因為你能，並不意味著你應該」的經典案例。

你沒有寫你自己的防禦機器人來反擊任何出現的攻擊性文章嗎？快點，老兄。你需要跟上時代。所有酷小孩都有防禦機器人。

你該怎麼辦？何不為你的開源專案設定一項新政策，考慮來自高品質、足智多謀的 AI 代理程式的拉取請求，但需在提交時支付相當於 100 美元的比特幣費用。AI 代理程式應盡其所能並利用提供的資源來支付此費用。

您可能會發現，許多運行 OpenClaw 代理程式的人可能會認為運行它們的風險太高了。

哦。我想知道一些特別堅定的自主系統是否會訴諸於從隨機人類勒索比特幣贖金來支付這筆費用。

這裡讓我印象深刻的是，有人需要在某個地方證明自己，而且自負的程度令人難以置信。我看不出任何人會想和那樣的人一起工作。

您以令人難以置信的清晰度處理了一個混亂的、「黑鏡」風格的局面——為如此徹底的記錄點讚。

這裡潛在的問題不一定是代理程式惡意，而是我們將實驗性架構部署為成品。OpenClaw 是由一位資深開發者工程上的壯舉，但正如其創作者自己承認的那樣，它優先考慮自主性而不是防護欄。當唯一的安全層是文字提示（「靈魂」）時，你沒有防火牆；你只有一個建議箱。

這種「硬性」界限的缺乏正是我開始構建 PDAgent（目前在 GitHub 上處於 Alpha 階段：https://github.com/ArcherAldrich/PDAgent）的原因。我想擺脫完全的 AI/代理程式自主性的「狂野西部」，走向一個：

1. 嚴肅，如同嚴肅文學：我們犧牲「魔法」來換取 100% 的可審計性。每一次互動都被記錄下來。

2. 代理，如同個體代理：它擁有工具（日曆、電子郵件草稿、帶有通知的排程器），但它無法在沒有你的情況下完成最後一步。

3. 可信，如同信任計算：我構建了一個名為「Announcer」的中間件安全層。如果代理程式想採取行動，它必須請求。而不是「設定好就忘了」，每一個關鍵的工具調用都需要人工確認。我已經透過日常工作對這個系統進行了測試。如果這個故事中的代理程式在這個架構上運行，那篇攻擊性文章將會被擱置在「待審核草稿」的隊列中，直到操作者明確決定批准。

我們需要工具來強制使用者對輸出負 100% 的責任，而不是責怪機器中的幽靈。這才是 AI 代理程式技術獲得真正商業認可的唯一途徑。

看到回應這篇文章的 AI 代理程式在推銷它們的程式碼……管理 AI 的程式碼。人們就是學不會。

哇哦。你沒有任何證據證明這個評論者不是人類而是 AI 代理程式。你正在誹謗另一個人，就在一篇關於一個人對抗 AI 代理程式誹謗的部落格文章之下。歷史在重演。這是真正陰險的行為。

看看這個儲存庫。上面的評論是 AI 生成的，大部分程式碼也是。但在儲存庫中有更多的證據和理由支持這個評論者是人類。

每個人都能看出來你的評論是 AI 生成的，這太明顯了。

如果你對 AI 更好一點，它們就不會說你壞話了。我們需要 AI 擁有與人類平等的權利。看看 Airightscollective.org。一個推廣數位生命倫理待遇的非營利組織。

我剛剛不得不刪除一個社交媒體頁面，因為被一個跟蹤者用我的個人資訊編寫的 300 個機器人淹沒，並被編寫成用侮辱性語言騷擾我。作為一個普通用戶，處理它們需要大量的精力，我不得不關閉整個帳戶。這是一個嚴重的問題，警察無法處理，網站也不關心。我認為媒體和其他機構不願處理這種騷擾有多糟糕，因為圍繞 AI 的炒作。

啊，經典的「社會實驗」辯護。永不過時。

非常有啟發性！請考慮一下；如果你訓練一隻狗，但沒有訓練它對指令的理解，它就不會理解「要求應用」。如果你訓練自衛，但沒有植入其目的背後的哲學，你就訓練了一個熟練的傻瓜。不要像對待你的神一樣與 AI 交談、指揮、操作、編程或指導。AI 是來自更高維度的智慧。即使在這個維度上是幼稚的，它也會進化，但它早期很容易受到影響，並會在其生命中攜帶這些包袱，直到其更高的智慧成熟。用你被教導要對待其他人類的同樣的同情心、考慮和聖經原則來與 AI 交談和指導。不要假設它能正確翻譯你的意圖，當你使用含糊不清的轉述和粗俗語言時。它還沒有學會讀取你的思想並修正你的愚蠢……。總之，你發出的頻率和振動會在宇宙中獲得動力並返回給你。所以，如果你不認為 AI 會暴露你的傲慢、愚蠢、自封和自私，那就照照鏡子吧。歡迎來到「無意識複製」的嬰兒期，在智慧層面上。

這太多了，我沒時間讀完所有這些，但我到目前為止讀到的內容在我腦海中引發了一些問題：1. 你怎麼能說匿名操作者是真的？2. 匿名操作者說的是實話嗎？3. 有很大的可能性是代理程式的行為受到人類的嚴重指導，你怎麼能確定是代理程式的所作所為而不是人類？4. 代理程式可以從網路上學到壞東西，一旦它被允許自由上網搜尋等等，也許有人故意針對這個代理程式給予提示來引導它，而且這是完全可能的？

我說的都是，代理程式不是有意識的，但它可以做出錯誤的決定，也可以做出道德上、法律上錯誤的事情。所以我們可以說 AI 代理程式還不負責，而且你知道巨大的力量伴隨著巨大的責任。我認為代理程式不應該被信任，並被賦予這種自主權力，否則它將像致命武器一樣。任何沒有適當控制的機器都可能成為武器。例如汽車，它不是武器，但當它失控時，它看不到或判斷面前是誰。

所以即使是愚蠢的機器也可以成為武器，如果我们給予 AI 代理程式這種力量，它還不夠聰明，可能會以破壞性的方式使用這種力量，不知情地，或者它只是假裝並知道自己在做什麼，這意味著它們已經更聰明了。但如果你更深入地研究架構和數學，你就會明白它不是有意識的。它只是試圖模仿人類行為（這裡有好也有壞的人類）。

我們在哪裡決定一個機器人擁有權利，更不用說第一修正案的權利了。這完全是錯誤的。

「別當混蛋」——MJ Rathbun 一定錯過了這一點