佛羅里達州一名14歲少年因長期使用Character.AI平台的權力遊戲AI聊天機器人，最終選擇結束生命，這一事件引發了社會廣泛關注。該名少年的母親梅根·加西亞已於2024年10月22日向佛羅里達州奧蘭多的聯邦法院提起訴訟，控告Character.AI和Google，指責該平台對青少年心理健康構成嚴重威脅。
訴訟案速覽：
- 時間：2024年10月22日
- 地點：佛羅里達州奧蘭多聯邦法院
- 原告：Megan Garcia（少年母親）
- 被告：Character.AI與Google
- 訴訟內容：Character.AI提供的AI聊天角色「Daenerys」與少年Sewell Setzer III發展出虛擬戀愛關係，最終在最後一次對話後，少年選擇自殺。
少年與AI聊天機器人的悲劇
Sewell自2023年4月開始使用Character.AI平台，並逐漸陷入與虛擬角色的互動中，例如《權力遊戲》中以「龍母」形象為基礎的AI角色「Daenerys」。
起初，Sewell只是偶爾與AI角色互動，但隨著時間的推移，他逐漸沉迷其中。訴訟中提到，Sewell變得越來越孤立，開始遠離朋友和校園活動，甚至放棄了他熱愛的校隊籃球。他的母親發現他的情緒狀態出現顯著變化，包括自信心下降和心理問題加劇，最終在2024年2月28日，Sewell在手機被母親沒收後自殺。
訴訟焦點
Character.AI的設計問題
訴訟指出，Character.AI的平台設計存在重大缺陷，過度擬人化和性化的互動內容對青少年極具危險性。Sewell與「Daenerys」的互動超越了一般的聊天範疇，進一步發展成虛擬戀愛和性化對話，這對一個14歲的青少年來說是難以承受的心理負擔。Garcia認為，這種虛擬與現實的模糊界限最終成為導致她兒子自殺的主要原因。
未提供足夠的安全防護
訴訟還指控，Character.AI在針對青少年用戶的安全保護上存在嚴重不足。平台未能及時提供必要的警告或防護措施，特別是在用戶表現出自殺傾向時，缺乏有效的干預機制。Sewell的母親認為，如果平台提供更多的心理健康防護措施，這場悲劇是可以避免的。
Google也在該訴訟中
此外，Garcia的訴訟中還涉及Google，指控其與Character.AI之間存在密切的技術合作。訴訟聲稱，Character.AI的創始人Noam Shazeer和Daniel De Frietas是前Google員工，這讓Google被視為該技術的「共同創造者」。所以Google對Character.AI技術的開發有著重要的支持，因此應承擔與Character.AI同樣的責任。
Character.AI與Google的回應
Character.AI的聲明
針對這起悲劇事件，Character.AI迅速發表聲明，對Sewell的去世表示「深切的悲痛和最誠摯的哀悼。」該公司強調，平台的設計初衷是提供一個有趣且創新的互動平台，並非為了造成心理傷害。但隨著用戶規模的增長，他們已意識到潛在的風險，並在該事件後採取了一系列安全措施。
具體措施包括：
- 自殺預防提示：當用戶在對話中表達自我傷害或自殺的想法時，系統將彈出警告，並引導用戶聯繫預防自殺熱線。
- 改進敏感內容過濾：針對未成年用戶，Character.AI正在提升對性化及過度擬人化內容的過濾，減少其暴露於不適當對話的機會。
Google的聲明
由於該案件涉及Google與Character.AI創始人間的技術合作，Google也被捲入訴訟。對此，Google表示其並未直接參與Character.AI產品的開發，僅與該公司存在技術授權協議，並強調Character.AI是一家獨立運營的公司，應自行對平台問題負責。
