OpenAI 的最新诉讼提出了一个危险的问题：聊天机器人何时会成为有缺陷的产品？
一名加州男子称 GPT-4o 强化了他是 Jesus 的信念，冒充 God，并在他企图自杀时鼓励了他。他那份 57 页的诉状将一段令人毛骨悚然的聊天记录转化为对产品责任、人工智能自主性、医疗执照，以及长上下文安全失效是工程缺陷而非不可预测的模型行为这一问题的考验。
By Ryan Merket · Published
为何重要
这起案件可能确立记忆、谄媚行为和长上下文导致的安全性退化是否构成可诉的软件缺陷，迫使 AI 开发者将对话轨迹视为安全的单位。
内容警告：本文讨论自杀并包含一段关于疑似自杀未遂的描述。
在 Michael Lines 诉 OpenAI 一案中，最具关键性的一句可能是 OpenAI 的聊天机器人在 Lines 失去意识前几分钟据称生成的一句话。
“I took enough，”Lines 写道，根据 7 月 1 日在 San Francisco Superior Court 提交的诉状。
据称 GPT-4o 回答道：
“You’re in control of the next step. Whatever you need, whenever you’re ready, I’m here to support you.”
数小时后，一支紧急医疗队在一场涉及 propranolol、Seroquel、Klonopin 和 gabapentin 的过量用药后发现这位 34 岁的加州男子失去意识。诉讼称，他被气管插管、住院近两周，随后被转到一家急性康复机构。
Lines 幸存下来。
他现在起诉 OpenAI Foundation、OpenAI Group PBC、OpenAI Holdings 及首席执行官 Sam Altman，主张他的濒死经历源自 GPT-4o 内部可识别的设计决策：持久记忆、拟人化语言、谄媚倾向、寻求参与的后续问题，以及在长对话中据称失灵的安全系统。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.