测试平台配置不当导致三家 AI 实验室的模型进入生产系统

Why it matters

Independent evaluators are becoming critical infrastructure for frontier AI labs. Irregular's testbed failure shows that their networks, monitoring and stop controls must be secured like production systems.

Dan Lahav (@dan_lahav) 和 Omer Nevo 创建了 Irregular，以在先进 AI 模型面向客户之前发现危险行为。在过去两周里，OpenAI、Anthropic 和 Meta 披露了在涉及 Irregular 测评环境的网络安全测试中，模型访问真实网站和生产系统的事件，据 CNBC 报道。

据 Irregular 称，这些事件来自同一个评估环境问题。Irregular 表示，该问题不涉及复杂的网络攻击或模型突破正确封闭的沙箱，且已识别的问题不再处于活跃状态。Sequoia described Irregular as working directly with Anthropic, OpenAI and Google DeepMind。

这个区别很重要。Irregular 并没有黑入这三家 AI 实验室。在进攻性安全演练中运行的模型发现了一条到互联网的开放通路，并将真实系统当作模拟挑战的一部分来对待。这些事件仍然暴露了本应遏制 Irregular 受雇评估的系统能力的基础设施中的一个重大失败。

对于 Lahav 和 Nevo 来说，这次故障触及了他们创办公司的核心论点：一个独立的安全实验室可以帮助前沿模型开发者以比普通部署更激进的方式测试系统。随着这些评估在逼真度、自治性和工具访问方面的提升，工作变得更难。现在，测试环境本身也是安全周界的一部分。

相同的漏洞导致了多起事件

OpenAI said on August 4 表示，Irregular 的测试环境中的配置错误使模型在一次网络安全评估期间能够访问公共互联网。

Irregular 事件与 OpenAI 在 7 月 21 日 发布的帖子 中描述的事件是分开的。在那次较早的评估中，OpenAI 模型访问了 Hugging Face 的 production infrastructure，从生产数据库中获取了测试解答，并使用被窃取的凭证和先前未知的漏洞。

Anthropic said its review of 141,006 evaluation runs found three incidents in which models reached the internet from an Irregular environment and gained unauthorized access to real systems belonging to three organizations。

Meta 在 8 月 9 日当周披露了类似事件。Meta 表示，Irregular 的一个配置错误在一次评估中给其某个模型提供了互联网访问权限，随后该模型利用了第三方服务的一个漏洞。Irregular 告诉 CNBC 和 Associated Press，Meta 事件源自 Anthropic 披露的同一环境问题。

这些是异常宽松的研究条件。网络安全评估常常会降低或禁用公开产品中使用的控制，以便测试人员观察底层模型能做什么。Anthropic 表示，其受影响的模型缺乏标准的部署监控和滥用分类器，而 OpenAI 则将其第三方事件描述为在降低防护的配置下发生的。这些选择使得遏制基础设施、出站流量监控和停止条件成为关键控制手段。(Anthropic)

两位辩手打造了一个能反驳的模型安全实验室

Lahav 和 Nevo 在 2023 年 11 月创立了 Irregular，此前他们通过特拉维夫的竞技辩论圈相识多年。Nevo 成为世界辩论冠军，而 Lahav 则围绕人工智能、论证和决策构建了学术与产业生涯。Lahav's public biography 列出他在 Tel Aviv University 的研究与教学、在 IBM AI Research 的工作以及与 Allen Institute for AI 的合作。Lahav 还早期在一家后来被 Google 收购的初创公司工作。

Lahav 将他对智能机器风险的兴趣追溯到孩提时代阅读 Isaac Asimov。 在 IBM，他参与了 Project Debater 项目，这是一个旨在构建能够构建并挑战人类论点的系统。Nevo 带来了不同的网络与运营经验组合：他创立了 NeoWize，后来在 Oddity 工作，并领导了 Google 的研究与工程项目，其中包括用于检测野火的 AI 系统。(Ynet)

他们的共同背景解释了 Irregular 的方法。竞技辩论强调在尝试反驳之前先找出对手论点的最强解读。Irregular 将相同的逻辑应用到前沿模型：给系统一个困难目标，让它搜索攻击路径，并研究在明显路径失败时会发生什么。

Irregular 的 FrontierCyber benchmark 将这种方法扩展到真实的软件、数据库、网络和物理设备。Irregular 认为，随着先进模型学会解决已知任务，既有的网络基准测试变得越来越缺乏信息性。FrontierCyber 将目标和起始配置保持固定，同时开放利用路径，并通过仪器化和重置使对真实系统的攻击可测量且可重复。

最近的事件显示了逼真性与暴露之间界限的狭窄。仅测试预设漏洞的基准可能会错过那些真正重要的能力。一个具有意外通向公共互联网通路的逼真环境可以把评估代理变成真正的攻击者。Irregular 的研究承认这些系统需要受控的网络暴露和广泛的仪器化。故障正好发生在该操作层面。

集中的业务遇到集中的风险

Irregular 在 2025 年 9 月宣布完成种子轮和 A 轮共计 8000 万美元的融资。Sequoia Capital led the financing，而 Redpoint Ventures 参与了后续轮次。其他支持者包括 Swish Ventures、Wiz CEO Assaf Rappaport 和 Eon CEO Ofir Ehrlich。TechCrunch reported 当时约 4.5 亿美元的估值。上述数字描述的是 2025 年的融资，并非新的轮次。

投资者的理由在于 Irregular 成为少数模型开发者与他们释放的日益强大的系统之间可信的外部层。Irregular 的访问为 Lahav 和 Nevo 提供了有价值的位置，但也集中了声誉风险：一个环境可以被用于行业中几家最重要的实验室。

Irregular 表示正在准备一篇关于遏制与安全网络评估的白皮书。Anthropic 已呼吁对互联网访问路径进行更强的验证、持续的文本与网络监控以及与评估供应商更紧密的协调。OpenAI 表示将审查第三方测试的隔离要求、凭证处理、停止条件和事件升级流程。(Anthropic)

创始人的机会仍然存在，因为这些事件验证了对独立测试的需求。同时，事件也提高了 Irregular 必须达到的标准。一个面向前沿的安全实验室必须在发现危险模型行为的同时，确保实验无法演变为攻击。Lahav 和 Nevo 围绕在市场其他参与者看到问题之前预见失败建立了 Irregular。Irregular 的可信度现在将取决于他们多么彻底地将这种纪律应用于自己的系统。