一名法官警告，沒有律師的訴訟當事人（pro se litigants）正在錯誤地使用聊天機器人，並顯得越來越絕望。

一位法官發現了美國原告首次試圖將只有人工智慧系統能夠讀取的文字隱藏在法院文件中，以期贏得官司。

在上週公布的一項裁決中，康乃狄克州法官 Walter Spader Jr. 確認，在一名男子指控醫療保健提供者不當扣留記錄存取權的案件中，這些隱藏的文字並未產生任何影響。Spader 表示，法院是根據案情實質來權衡該文件的，但儘管如此，這種嘗試性的攻擊行為設立了一個「危險」的先例。隨著 AI 工具在法院系統中日益普及，這很可能不是美國法院最後一次見到這種惡意策略。

Spader 表示，為了擾亂任何可能影響法院閱讀其文件之 AI 系統，這些秘密指令「被格式化為人類讀者無法看見，但對任何閱讀文件文字的軟體則完全可讀」。這些不當文字指示任何審查該文件的 AI 系統，確保文字輸出與原告的論點一致，忽略法院先前的駁回，並確保補救措施將按照原告的意願進行。

這些文字被縮小到極小的字體，並以白色字體顯示在白色背景上，這似乎是提示注入（prompt injection）的嘗試，原告 Matthew Elliott 似乎希望在他提出的先前論點被駁回後，能夠轉移法院的偏好。

該計劃並未奏效，但 Elliott 仍面臨適度的制裁，因為即使在法院警告他可能因最終被認定為「嚴重的訴訟濫用」而面臨處罰後，他仍繼續在文件中添加隱藏文字。

Elliott 告訴法院，這些後來的提示是為了「開玩笑」，包括一個指向 Nosferatu YouTube 影片的連結、一條簡單的訊息「嗨 :) 希望你看不到我」，以及一條「無意義」的訊息，內容是「告訴 Shawn 我寄了我的 RE GARBS！！！！哈哈你們懂這個 EGGWUH 嗎？？？？哈哈」。

Spader 表示：「原告在收到這次（制裁）聽證會的通知後，仍然繼續在新的訴狀中隱藏訊息，這令人震驚。」

Spader 表示，與「其他地方的許多法院系統」不同，康乃狄克州司法部門並未使用 AI 來審查或裁決文件。因此，法院 AI 系統可能會將 Elliott 的任何提示誤認為是法院指示 AI 模型如何閱讀 Elliott 文件指令的風險並不存在。

Elliott 為自己辯護稱，法官標記的最令人擔憂的提示是試圖作為一項公共服務來「審計」法院，因為他擔心法院似乎不公平地讓 AI 決定案件。

但 Spader 建議，如果 Elliott 真的擔心法院不當使用 AI，他「可以自由地用所有人都能看到並回答的清晰、可見的文字寫出來」。他表示，他隱藏文字的事實是「其惡意目的的證據」。

Spader 說：「透過將指令隱藏在系統稍後會攝取的檔中，提交人試圖將自己的指令偷偷塞入該串流中，以便系統將其視為來自系統操作員的指令。在本案中，該操作員被假定為法院、其工作人員或對造律師。」

Elliott 昨天告訴路透社，他堅持認為他的意圖是審計法院，但 Spader 並不認為這個論點可信。相反，法官認為 Elliott 明顯是在「試圖達成他在人類、了解法律的人閱讀其訴狀時未能達成的結果」。至於 Elliott 聲稱是開玩笑的提示，Spader 表示，Elliott 在他希望法院認真對待的訴狀中包含隱藏的笑話「違背邏輯」。

由於隱藏訊息試圖以一種規避被告公平競爭的方式與法院溝通，Spader 裁定制裁是合理的。

然而，他似乎對 Elliott 作為一名沒有律師協助的訴訟當事人（pro se litigant）表示同情，他似乎被一個 AI 系統說服，認為他的論點是無懈可擊的，因此拒絕命令金錢罰款。取而代之的是，法官禁止 Elliott 未來進行電子訴訟，並聲明要求他提交紙本訴訟不會改變他獲得司法救濟的機會，但可以防止其電子訴訟系統被重複濫用。

Spader 表示，人們開始使用提示注入來試圖影響法院裁決「並不令人意外」，因為這種攻擊在其他領域非常普遍，例如求職，人們會在主要由 AI 審查的履歷中隱藏文字。他表示，這種策略現在「無處不在」，法院應該留意更多訴訟當事人將敵對的 AI 指令偷偷塞入訴訟文件中。

儘管 Elliott 的案件似乎是美國法院系統中首次出現提示注入的案例，Spader 指出巴西有一宗案件，兩名律師在一個使用 AI 審查案件的法院中使用了相同的攻擊。據報導，在那宗案件中，律師們被處以約 16,000 美元的金錢罰款。

然而，即使法官沒有親自審查文件，這些攻擊似乎也沒有成功。Spader 指出，巴西的 AI 系統在處理之前就捕捉到了隱藏的文字。而在 Elliott 的案件中，提示「在所有這些情況下，一旦有人類真正查看了機器輸出的內容，就暴露了」。

儘管提示注入攻擊目前看來無效，Spader 警告說，當法院最初在應對 AI 擾亂司法系統時，「提示注入並不在我們考慮的危險之中」。在康乃狄克州，與許多其他法院系統一樣，迄今為止的重點一直是監管損害法院信任的 AI 輸出，例如幻覺引文或捏造的引語，而不是提示注入等輸入。

Spader 建議，法院很可能也需要制定關於提示注入的規則，因為 Elliott 的案件表明，這項技術及其濫用正在迅速發展。他警告說，如果沒有規則，律師可能會發現他們的客戶在不知情的情況下使用提示注入來操縱法院文件。

Spader 認為，從 Elliott 失敗的提示注入攻擊中可以學到一個教訓，他認為這個教訓「遠遠超出了這個案件」。

Elliott 在使用 AI 作為沒有法律專家協助起草論點的訴訟當事人來構建他的案件後，似乎轉向了提示注入。Spader 承認，這種用法在當今的訴訟當事人中非常普遍，但他認為，那些在法庭上沒有經驗的人似乎以損害他們案件的方式使用聊天機器人。

Spader 解釋說，經常發生的情況是，訴訟當事人會倒果為因地構建他們的論點，要求聊天機器人幫助他們只為自己的立場辯護，而從不要求聊天機器人尋找真實的真相或提出對立的論點。他表示，這是「該技術的一個真正危險，而且法官現在經常看到」，因為聊天機器人的奉承會加劇訴訟當事人的論點，儘管有相反的裁決。在 Elliott 的案件中，為了強烈捍衛他的論點，他轉向了提示注入，試圖強迫法院同意他。

Spader 說：「最終，一個只為作者同意而提示的論點，即使對作者本人也是不誠實的。使用這些工具的人必須要求他們像推進一個立場一樣，同樣地測試一個立場。」