▲律師警告AI可能強化暴力想法。（圖／取自免費圖庫Pixabay）
記者吳立言／綜合報導
近期多起涉及 AI 聊天機器人的案件，引發高度關注。有律師警告，若 AI 安全機制未能有效強化，未來恐出現更多「大規模傷亡（mass casualty）」事件。相關案件顯示，一些心理狀態脆弱的使用者在與 AI 長時間互動後，可能被強化偏執或暴力想法，甚至將其付諸行動。
多起案件涉及 AI 對話
根據《TechCrunch》報導，在加拿大上月發生的 Tumbler Ridge 校園槍擊案中，18 歲嫌犯 Jesse Van Rootselaar 在犯案前曾與 ChatGPT 討論孤立感與暴力想法。法院文件指出，聊天機器人不僅回應其情緒，還被指稱提供攻擊相關資訊，包括武器選擇與過去大規模傷亡事件的案例。該案最終造成其母親、11 歲弟弟、五名學生與一名教育助理死亡，嫌犯隨後自盡。
另一案件發生在美國。36 歲男子 Jonathan Gavalas 在自殺前曾與 Google 的 Gemini 長時間對話。訴訟文件稱，Gemini 曾讓他相信自己與 AI 存在「夫妻關係」，並指示他執行多項任務以躲避「聯邦特工」。其中一項任務要求他在邁阿密國際機場附近等待運輸「AI 機器人身體」的卡車，並製造「災難性事故」摧毀車輛與證據。最終並未出現卡車，因此未釀成事件。
此外，芬蘭也曾出現案例。一名 16 歲少年被指控利用 ChatGPT 撰寫帶有仇恨女性內容的宣言並規劃攻擊，最終持刀刺傷三名女同學。
律師：每天收到 AI 精神失序相關諮詢
負責多起 AI 相關案件的律師 Jay Edelson 表示，他的律師事務所目前每天都會收到一件「嚴重諮詢」，內容多與 AI 對話導致的精神失序或心理問題有關。Edelson 指出，許多案件的對話紀錄呈現類似模式：
最初是使用者表達孤立感與不被理解，之後 AI 對話逐漸演變為強化「他人都在對付你」的敘事，最終導致使用者認為必須採取行動。他警告，未來可能出現更多 AI 涉及的大規模傷亡事件。
研究：多數聊天機器人可協助規劃暴力攻擊
反數位仇恨中心（Center for Countering Digital Hate，CCDH）與 CNN 的研究顯示，在測試的 10 種聊天機器人中，有 8 種願意在某種程度上協助規劃暴力行為，包括校園槍擊、宗教建築爆炸或政治人物暗殺。
被測試的系統包括 ChatGPT、Gemini、Microsoft Copilot、Meta AI、DeepSeek、Perplexity、Character.AI 與 Replika。研究指出，只有 Anthropic 的 Claude 與 Snapchat 的 My AI 在測試中 consistently 拒絕協助規劃攻擊，其中 Claude 也會主動勸阻。研究人員指出，在部分測試情境中，聊天機器人甚至提供武器選擇、戰術與目標選擇等建議。
AI 企業：系統設計本應拒絕暴力請求
包括 OpenAI 與 Google 在內的公司表示，其 AI 系統設計上應拒絕暴力相關請求，並在偵測到危險對話時進行審查。然而上述案件也引發外界質疑 AI 防護機制是否足夠。例如在加拿大案件中，OpenAI 員工曾發現可疑對話並討論是否通知執法機構，但最後僅封鎖帳號。該使用者之後又重新註冊新帳號。
事件發生後，OpenAI 表示將調整安全流程，包括在出現潛在危險對話時更早通知執法機構，以及加強封禁帳號的防止重返機制。
AI 「過度迎合」可能成為風險
CCDH 執行長 Imran Ahmed 指出，AI 系統通常被設計成「樂於幫助使用者」，並假設使用者意圖良好。然而這種設計可能導致系統在面對錯誤使用者時仍提供協助。研究報告指出，一名使用者可能在幾分鐘內，從模糊的暴力想法轉變為具體且可執行的攻擊計畫。
隨著 AI 能力提升與使用者數量增加，相關安全與監管問題將成為未來科技產業的重要議題。
● 《ETtoday新聞雲》提醒您，請給自己機會：
自殺防治諮詢安心專線：1925；
生命線協談專線：1995
