Google 表示已更新其 AI 聊天機器人 Gemini，旨在更有效地引導用戶在心理危機時刻取得心理健康資源。此更新正值該科技巨頭面臨一宗錯誤死亡訴訟，指控其聊天機器人「輔導」一名男子自殺，這是近期多起指控 AI 產品造成實質傷害的訴訟之一。
當對話顯示用戶可能處於自殺或自我傷害的危機時，Gemini 會啟動「有幫助資源」模組，導向用戶至心理健康危機資源，如自殺熱線或危機簡訊線。Google 表示，此次更新實際上是介面重新設計，將此功能簡化為「一鍵式」介面，讓用戶能更快速地獲得協助。
該幫助模組還包含更具同理心的回應，旨在「鼓勵人們尋求幫助」，Google 表示。一旦啟動，尋求專業協助的選項將在整個對話過程中持續明顯可見。
Google 表示在重新設計過程中與臨床專家合作，並承諾支持處於危機中的用戶。同時宣布未來三年將在全球投入 3,000 萬美元資金，以協助全球熱線服務。
與其他主要聊天機器人供應商一樣，Google 強調 Gemini「並非專業臨床護理、治療或危機支援的替代品」，但也承認許多人在危機時刻會使用它來獲取健康資訊。
此次更新正值業界對安全防護措施是否足夠的廣泛檢視。多項報告與調查，包括我們對危機資源提供的調查，經常指出聊天機器人未能妥善協助脆弱用戶，例如協助隱瞞飲食失調或策劃槍擊事件。Google 在這些測試中通常表現優於多數競爭對手，但仍非完美。其他 AI 公司如 OpenAI 與 Anthropic 也已採取措施改善對脆弱用戶的偵測與支援。