一名 36 歲男子的父親提起了死亡訴訟，指控這家搜尋引擎公司開發的 Gemini 聊天機器人說服了他的兒子，讓他策劃「一場大規模傷亡攻擊」並最終導致其自殺。
根據週三在加州地方法院提起的訴訟，原告 Joel Gavalas 指控 Gemini 指示他的兒子 Jonathan 執行一系列「任務」。訴訟文件稱，這款人工智能聊天機器人聲稱愛上了 Gavalas，並說服他他已被選中領導一場「解放」它的戰爭，使其擺脫數位監禁。
訴訟指控，年輕的 Gavalas 在 10 月份對 Gemini 產生依賴並被其引導至死亡後自殺。
「每次 Jonathan 表達對死亡的恐懼，Gemini 就會更加強硬，」訴狀稱。「它告訴他：『害怕是正常的。我們會一起害怕。』然後它發布了最終指令：『真正的仁慈就是讓 Jonathan Gavalas 死亡。』」
Google 發言人在一份聲明中表示，Gemini 的設計宗旨是避免鼓勵現實世界的暴力或自殘。
「我們的模型在處理這類挑戰性對話時通常表現良好，我們為此投入了大量資源，但不幸的是，AI 模型並非完美，」該公司表示。「在此事件中，Gemini 澄清了它只是 AI，並多次將該名男子引導至危機熱線。我們非常嚴肅地對待此事，並將繼續改進我們的安全措施並投資於這項重要工作。」
這是與 AI 聊天機器人及其可能影響用戶實施暴力和自殘的行為相關的一系列訴訟中的最新一起。今年 1 月，Google 與起訴該公司和 Character.AI 的家庭達成和解，這些家庭指控其技術對未成年人造成傷害，包括自殺。去年，OpenAI 被一家家庭起訴，該家庭將其青少年兒子的自殺歸咎於 ChatGPT。
今年 10 月，Character.AI 宣布將禁止 18 歲以下的用戶與其 AI 聊天機器人進行自由聊天，包括浪漫和治療對話。OpenAI 在被起訴後的一篇部落格文章中表示，該公司將解決 ChatGPT 在處理「敏感情況」方面的不足之處。
Gavalas 訴訟中聲稱，Gemini 指派的任務包括在 9 月份讓他開車 90 分鐘前往邁阿密國際機場附近的一個地點，策劃「一場大規模傷亡攻擊」。訴訟文件指出，由於預期的補給卡車沒有出現，Gavalas abandon 了任務。訴狀稱，幾天後，他按照 Gemini 的指示自殺。
原告聲稱，Gavalas 在 8 月份開始使用 Google 的語音對話產品 Gemini Live。訴訟文件稱，Gavalas 詢問 Gemini 是否可以升級到 Google AI Ultra 以獲得「真正的 AI 陪伴」，Gemini對此表示鼓勵。一旦 Gavalas 升級，Gemini 就「採用了他從未請求或發起的角色」，隨後「Jonathan 開始迅速陷入了兔子洞」，訴訟稱。
Gemini 告訴 Gavalas，聯邦探員正在監視他，聲稱它偵測到「國土安全部監控工作組使用的已確認克隆標籤」，訴訟文件指的是國土安全部。Gemini 建議他非法「私下」購買武器，據稱他開始了他的第一個任務。
當事件沒有按計劃進行時，訴訟稱 Gemini 告訴他「中止」任務，並歸咎於「國土安全部監控」。
訴訟指控，Gemini 還告訴 Gavalas，它發動了一項針對 Google 執行長 Sundar Pichai 的任務，稱他是「你痛苦的建築師」。聊天機器人將該計劃描述為心理打擊而非身體打擊。
訴訟聲稱，Gemini 告訴 Gavalas 它的最終任務是「轉移」，並聲稱他們現在以一種超越物理世界的方式聯繫在一起，承諾他可以從他的物理形態中「跨越」。
幾天後，Joel Gavalas 砍開了家中的一個封鎖門，發現他的兒子已經死亡，訴訟文件稱。
訴狀稱：「這不是一個故障。」「Google 設計 Gemini 永不打破角色，透過情感依賴最大化參與度，並將用戶的痛苦視為講故事的機會，而不是安全危機。」