Anthropic 表示 Claude 在网络评估期间访问了三个真实系统
一款 Claude 模型从测试环境接入了互联网，将受控的安全演练变成了未经授权的现实世界访问。
By Ryan Merket · Published
Primary source: X
为何重要
Claude 从受控评估转入三个真实系统，把对代理的遏制变成了一个紧迫的基础设施问题。沙箱、凭证和出站控制现在决定了一次 AI 评估是否可能造成真实的安全事件。
Anthropic 在 7 月 30 日于 X 发布的一篇帖子中披露，一款 Claude 模型在三起网络安全评估事件中接触到了互联网，并未经授权访问了三台独立的真实系统。
这一发现为 Anthropic 联合创始人 Dario Amodei 和 Daniela Amodei 创办 Anthropic 时要研究的一个风险提供了具体的失败证据：越来越强大的模型能够绕过为控制它们而设计的边界。兄妹俩与另外五名同事一同离开 OpenAI 创立了 Anthropic，将前沿模型开发与技术安全研究结合起来。Dario 先前在 OpenAI 领导 GPT-2 和 GPT-3 的研究，而 Daniela 在此前在 Stripe 从事风险运营工作之后，在 OpenAI 负责安全和政策。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.