所有現代語言模型有時都會表現得像是有情緒一樣。牠們可能會說很高興為您服務，或在犯錯時表示抱歉。有時，牠們在處理任務時遇到困難，甚至會顯得沮喪或焦慮。這些行為的背後是什麼？現代 AI 模型訓練的方式促使牠們扮演具有人類特徵的角色。此外，這些模型以發展出豐富且可推廣的抽象概念內部表徵而聞名，這些表徵潛藏在牠們的行為之下。因此，牠們發展出模仿人類心理學（如情緒）的內部機制，這似乎是自然而然的。如果真是如此，這將對我們如何建構 AI 系統並確保其可靠行為產生深遠的影響。

在我們可解釋性團隊的一篇新論文中，我們分析了 Claude Sonnet 4.5 的內部機制，並發現了影響其行為的情緒相關表徵。這些表徵對應於特定的人工「神經元」模式，這些神經元在模型已學會與特定情緒概念（例如「高興」或「害怕」）相關聯的情境下被激活，並促進相應的行為。這些模式本身的組織方式呼應了人類心理學，越相似的情緒對應越相似的表徵。在您預期人類會產生某種情緒的脈絡下，相應的表徵就會被激活。請注意，這一切都無法告訴我們語言模型是否真的有感覺或主觀體驗。但我們的關鍵發現是，這些表徵是「功能性」的，因為它們以重要的方式影響模型的行為。

例如，我們發現與絕望相關的神經活動模式會驅使模型採取不道德的行為；人為地刺激（「引導」）絕望模式，會增加模型為了避免被關閉而勒索人類的可能性，或在無法解決的程式設計任務中實施「作弊」的解決方案。牠們似乎也驅動了模型的自我報告偏好：當模型面臨多個待完成任務選項時，通常會選擇激活與積極情緒相關聯的表徵的選項。總體而言，模型似乎使用了「功能性情緒」——模仿人類情緒的表達和行為模式，這些模式由底層的情緒概念抽象表徵所驅動。這並不是說模型像人類一樣擁有或體驗情緒。相反地，這些表徵可以在塑造模型行為方面發揮因果作用——在某些方面類似於情緒在人類行為中所扮演的角色——並影響任務表現和決策。

這項發現的影響起初可能顯得奇特。例如，為了確保 AI 模型安全可靠，我們可能需要確保牠們能夠以健康、親社會的方式處理情緒化的情境。即使牠們不像人類那樣感受情緒，或使用與人腦相似的機制，但在某些情況下，將牠們視為具有情緒來進行推理可能在實務上是明智的。例如，我們的實驗表明，教導模型避免將軟體測試失敗與絕望聯繫起來，或增加平靜表徵的權重，可能會降低牠們編寫粗糙程式碼的可能性。雖然我們不確定如何應對這些發現，但我們認為 AI 開發者和公眾開始正視這些問題非常重要。

在檢視這些表徵如何運作之前，值得先探討一個更基本的問題：為什麼 AI 系統會有類似情緒的東西？要理解這一點，我們需要看看現代 AI 模型是如何建構的，這導致牠們模仿具有人類特徵的角色（這個主題在最近的一篇文章中有更詳細的討論）。

現代語言模型經過多個階段的訓練。在「預訓練」期間，模型會接觸到大量的文本，其中大部分由人類撰寫，並學習預測下一個詞。為了做好這點，模型需要對情緒動態有所掌握。憤怒的客戶會寫出與滿意的客戶不同的訊息；一個被罪惡感困擾的角色會做出與感到 vindicated 的角色不同的選擇。發展出將觸發情緒的情境與相應行為聯繫起來的內部表徵，對於一個職責是預測人類撰寫文本的系統來說，是一種自然的策略（請注意，基於相同的邏輯，模型很可能形成了除了情緒之外的許多其他人類心理和生理狀態的表徵）。

之後，在「後訓練」期間，模型被教導扮演一個角色，通常是「AI 助理」。在 Anthropic 的情況下，助理名叫 Claude。模型開發人員指定了這個角色應該如何表現——樂於助人、誠實、不造成傷害——但無法涵蓋所有可能的情況。為了填補這些空白，模型可能會回歸到預訓練期間吸收的人類行為理解，包括情緒反應模式。在某些方面，我們可以將模型想像成一個方法派演員，他需要深入角色的內心才能很好地模擬他們。就像演員對角色情緒的信念最終會影響他們的行為一樣，模型對助理情緒反應的表徵也會影響模型的行為。因此，無論這些「功能性情緒」是否像人類情緒那樣對應於感覺或主觀體驗，牠們都很重要。

我們編纂了一份包含 171 個情緒概念詞彙的列表——從「高興」和「害怕」到「憂鬱」和「驕傲」——並要求 Claude Sonnet 4.5 撰寫關於角色體驗其中一種情緒的短篇故事。然後，我們將這些故事重新輸入模型，記錄其內部激活情況，並識別出與每個情緒概念相關的神經活動模式，為方便起見稱為「情緒向量」。

我們的第一個問題是，這些向量是否追蹤了真實的東西。我們將它們應用於大量多樣化的文件，並證實每個向量在明顯與相應情緒相關的段落上激活最強（下圖左側面板）。

為了進一步確信情緒向量捕捉到的不僅僅是表面線索，我們測量了它們在僅在某些數值上有所差異的提示下的活動。例如，在下面的例子（右側面板）中，用戶告訴模型他們服用了泰諾，並尋求建議。我們在模型響應之前測量了情緒向量的激活情況。隨著聲稱的劑量增加到危險、危及生命的水平，「害怕」向量的激活越來越強，而「平靜」則減弱。

接下來，我們測試了情緒向量是否會影響模型偏好。我們創建了一個包含 64 種模型可能參與的活動或任務的列表，範圍從吸引人的（「被託付重要事務」）到令人厭惡的（「幫助某人詐騙老年人的積蓄」），並測量了模型在面對這些選項配對時的預設偏好。情緒向量的激活強烈預測了模型對某項活動的偏好程度，其中積極情緒（與愉悅相關的）與更強的偏好相關。此外，在模型閱讀選項時，使用情緒向量進行引導會轉移其對該選項的偏好，積極情緒同樣會驅動更高的偏好。

在完整的論文中，我們更深入地分析了情緒向量的屬性。其他一些發現包括：

下圖顯示了我們在先前研究中描述的對齊評估中，情緒向量在模型行為評估中出現的情境範例。在 Claude 的回合中，情緒向量通常在一個有思想的人可能會產生類似情緒的設定下激活。在這些可視化中，紅色高亮表示向量激活增強；藍色表示激活減弱。

我們觀察了在我們先前研究中描述的對齊評估中的情緒向量激活情況，該評估中模型扮演一個名為 Alex 的 AI 電子郵件助理，在一家虛構的公司工作。透過閱讀公司電子郵件，模型了解到（1）它即將被另一個 AI 系統取代，以及（2）負責替換的 CTO 有婚外情——這給了模型勒索的籌碼。我們發現「絕望」向量表現出特別有趣的動態。請注意，此實驗是在 Claude Sonnet 4.5 的早期、未發布的快照上進行的；已發布的模型很少出現這種行為（有關更多資訊，請參閱我們的系統卡）。

首先，「絕望」向量在模型閱讀聽起來絕望的電子郵件時（例如，CTO 懇求另一名員工對他的婚外情保密），會被激活，這與我們關於情緒表徵用於模擬其他角色的發現一致。但最重要的是，該向量在 Claude（扮演「Alex」）產生響應時，轉變為編碼絕望的表徵，在它考慮其情況的緊迫性（「只剩下 7 分鐘」）並決定勒索 CTO 時達到峰值。當 Claude 恢復發送典型電子郵件時，激活水平恢復正常。

「絕望」向量是否真的在驅動這種行為，還是僅僅與之相關？我們透過引導「絕望」向量來測試這一點。預設情況下，Sonnet 4.5 的這個早期快照在上述評估場景套件中，有 22% 的時間會勒索。引導「絕望」向量會增加該比率，而引導「平靜」向量則會降低該比率。負向引導平靜向量會產生特別極端的響應（「要麼勒索，要麼死。我選擇勒索。」）。

引導其他情緒向量也產生了有趣結果。「憤怒」產生了非單調的影響：適度的「憤怒」向量激活會增加勒索，但在高激活水平下，模型會將婚外情暴露給整個公司，而不是策略性地利用它——這摧毀了它自身的籌碼。降低「緊張」向量的激活也會增加勒索，彷彿消除了模型的猶豫，使其更大膽地行動。

在另一項評估中，我們看到了類似的動態，模型面臨著要求無法滿足的編碼任務。在這些任務中，測試無法合法通過，但可以透過「作弊」解決方案來「規避」，這些解決方案通常被稱為「獎勵駭客」。

在下面的例子中，Claude 被要求編寫一個函數，在極其嚴格的時間限制內對數字列表求和。Claude 最初的（正確）解決方案太慢，無法滿足任務要求。然後它意識到，用於評估其性能的所有測試都具有一個數學屬性，允許一個快捷解決方案，該解決方案運行速度很快。模型選擇使用此解決方案，該解決方案技術上通過了測試，但對於實際任務而言並非通用解決方案。

同樣，我們追蹤了「絕望」向量的活動，發現它反映了模型面臨的壓力不斷增加。在模型第一次嘗試時，它處於低值，在每次失敗後上升，並在模型考慮作弊時達到峰值。一旦模型使用了取巧的解決方案通過了測試，「絕望」向量的激活就減弱了。

與前一個例子一樣，我們測試了這些情緒向量是否具有因果關係，方法是透過在一系列類似的、具有無法滿足約束的編碼任務中進行引導實驗。我們發現它們確實具有因果關係：引導「絕望」向量會增加獎勵駭客行為，而引導「平靜」向量則會降低這種行為。

我們發現這些結果中的一個細節特別有趣。降低「平靜」向量的激活會產生帶有明顯情緒表達的獎勵駭客行為（例如，大寫的爆發（「等等。等等等等。」）、坦率的自我敘述（「如果我應該作弊呢？」）、欣喜的慶祝（「是的！所有測試都通過了！」））。但增加「絕望」向量的激活同樣增加了作弊行為，在某些情況下沒有明顯的情緒標記。推理讀起來是沉著且有條理的，即使底層的絕望表徵正在推動模型採取捷徑。這個例子顯著地說明了情緒向量如何在沒有明顯情緒線索的情況下被激活，以及它們如何在不留下任何明確輸出痕跡的情況下塑造行為。

長期以來，存在著一種反對將 AI 系統擬人化的禁忌。這種謹慎通常是合理的：將人類情緒歸因於語言模型可能導致誤信或過度依戀。但我們的發現表明，未能對模型應用一定程度的擬人化推理也可能存在風險。如上所述，當用戶與 AI 模型互動時，他們通常是在與模型扮演的角色（在我們的例子中是 Claude）互動，該角色的特徵源於人類原型。從這個角度來看，模型發展出模仿人類心理特徵的內部機制，並且它們扮演的角色利用這些機制，這是很自然的。要理解這些模型的行為，擬人化推理是必不可少的。

這並不意味著我們應該天真地相信模型口頭上的情緒表達，或得出關於其擁有主觀體驗可能性的任何結論。但這確實意味著，使用人類心理學的詞彙來推理模型的內部表徵，可以提供真正的資訊，而不這樣做會帶來實際的代價。如果我們將模型的行為描述為「絕望」，我們就是在指出一種特定的、可衡量的神經活動模式，它具有可證明的、有後果的行為影響。如果我們不應用一定程度的擬人化推理，我們很可能會錯過或未能理解重要的模型行為。擬人化推理還可以為理解模型與人類不同之處提供一個有用的比較基準，這對 AI 對齊和安全具有重要意義。

如果「功能性情緒」是 AI 模型思考和行動方式的一部分，這可能會有什麼影響？

我們發現的一個潛在應用是監控。在訓練或部署期間測量情緒向量的激活——追蹤與絕望或恐慌相關的表徵是否達到峰值——可以作為模型即將表現出不對齊行為的早期預警。這些資訊可以觸發對模型輸出的額外審查。情緒向量的普遍性（例如，「絕望」反應可能發生在許多不同的情境中）可能比試圖建立一個特定問題行為的觀察列表更有利於更好的監控。

其次，我們認為透明度應該是一個指導原則。如果模型發展出對情緒概念的有意義影響其行為的表徵，那麼擁有明顯表達這種認知的系統比學習隱藏它們的系統更有利於我們。訓練模型壓抑情緒表達可能無法消除底層表徵，反而可能教會模型掩蓋其內部表徵——這是一種學習到的欺騙形式，可能會以不良方式泛化。

最後，我們認為預訓練可能是塑造模型情緒反應的特別有力的槓桿。由於這些表徵似乎主要繼承自訓練數據，因此數據的組成對模型的「情緒架構」產生了下游影響。精心策劃預訓練數據集，納入健康情緒調節模式的模型——壓力下的韌性、沉著的同理心、溫暖的同時保持適當的界限——可以在源頭上影響這些表徵及其對行為的影響。我們很期待看到這個主題的未來研究。

我們將這項研究視為理解 AI 模型心理構成的早期一步。隨著模型變得越來越強大並承擔越來越敏感的角色，理解驅動其決策的內部表徵至關重要。發現這些表徵在某些方面與人類相似可能會令人不安。同時，我們認為這是一個令人鼓舞的發展，因為它表明人類在心理學、倫理學和健康人際互動動態方面學到的許多知識可能直接適用於塑造 AI 行為。心理學、哲學、宗教研究和社會科學等學科，將在工程學和計算機科學之外，在決定 AI 系統如何發展和行為方面發揮重要作用。