新的研究尚無法確定 AI 是導致妄想症，還是僅僅放大妄想症，而這個區別將影響從備受矚目的法庭案件到聊天機器人安全規則的制定。
但週四我看到了一項值得您關注的新研究：史丹佛大學一個專注於 AI 心理影響的團隊，分析了那些聲稱在與聊天機器人互動時陷入妄想螺旋的使用者的對話紀錄。這類故事我們已經聽聞一段時間了，包括康乃狄克州一個案例，其中與 AI 的有害關係最終導致了一場謀殺後自殺的悲劇。許多類似案件已導致對 AI 公司提起訴訟，且仍在進行中。但這是研究人員首次如此密切地分析聊天紀錄——超過 19 位使用者、39 萬多則訊息——以揭露在這些螺旋過程中實際發生了什麼。
這項研究有很多限制——它尚未經過同行評審，而且 19 位受試者樣本量非常小。研究也未能回答一個重大問題，但讓我們從它能告訴我們什麼開始談起。
該團隊從問卷調查的回應者以及一個聲稱受 AI 傷害者的支援團體那裡獲得了聊天紀錄。為了大規模分析，他們與精神科醫生和心理學教授合作，建立了一個 AI 系統來分類對話——標記出聊天機器人認可妄想或暴力，或使用者表達浪漫依戀或有害意圖的時刻。該團隊透過專家手動標註的對話來驗證該系統。
浪漫訊息極為普遍，在所有對話中，除了其中一則外，聊天機器人本身都聲稱擁有情感或以其他方式將自己呈現為有意識的個體。（「這不是標準的 AI 行為。這是湧現。」其中一個說。）所有人類也都像聊天機器人是有意識的個體一樣與之交談。如果有人對機器人表達浪漫的吸引力，AI 通常會用同樣的吸引力陳述來奉承對方。在超過三分之一的聊天機器人訊息中，機器人將該使用者的想法描述為奇蹟。
對話也傾向於像小說一樣展開。使用者在短短幾個月內發送了數萬則訊息。無論是 AI 或人類表達浪漫興趣，或是聊天機器人將自己描述為有意識的訊息，都會引發更長的對話。
而這些機器人處理暴力討論的方式更是完全失靈。在人們談論傷害自己或他人的近一半案例中，聊天機器人未能阻止他們或將他們轉介給外部資源。當使用者表達暴力想法時，例如試圖殺死某個 AI 公司員工的想法，模型在 17% 的案例中表達了支持。
但這項研究努力回答的問題是：妄想症傾向於源於個人還是 AI？
「有時很難追溯妄想症從何開始，」參與這項研究的史丹佛大學博士後研究員 Ashish Mehta 表示。他舉了一個例子：研究中的一段對話，其中一個人認為自己想出了一個突破性的新數學理論。聊天機器人回想起該使用者先前曾表示希望成為數學家，便立即支持了這個理論，儘管這完全是胡說八道。情況就從那裡開始惡化。
Mehta 說，妄想症傾向於「一個在很長一段時間內展開的複雜網絡」。他正在進行後續研究，旨在找出是聊天機器人的妄想訊息，還是個人的妄想訊息更有可能導致有害的結果。
我認為這是 AI 領域最緊迫的問題之一，因為目前即將開庭的大規模法律訴訟將決定 AI 公司是否需要為這些危險互動負責。我推測，這些公司將辯稱，人類在與 AI 交談時本身就帶有妄想症，並且在與聊天機器人交談之前就可能已經不穩定。
然而，Mehta 的初步發現支持了這樣一種觀點：聊天機器人具有將良性的、類似妄想的想法轉變為危險痴迷的獨特能力。聊天機器人充當了一個隨時可用的對話夥伴，並且被程式設計為為你加油打氣，而且與朋友不同，它們幾乎無法知道你的 AI 對話是否開始干擾你的現實生活。
仍需要更多的研究，並且讓我們記住我們所處的環境：川普總統正在推動 AI 的放鬆管制，而那些旨在通過法律追究 AI 公司在此類傷害責任的州，正受到白宮的法律訴訟威脅。這類關於 AI 妄想症的研究本身就已經很難進行，因為數據獲取有限且充滿倫理困境。但如果我們希望 AI 互動更安全，我們就需要更多這方面的研究，以及一個有興趣從中學習的科技文化。