OpenAI 首席科学家在实验室扩大智能体研究之际寻求安全协议
Jakub Pachocki 希望前沿实验室设定共享触发机制以放慢开发进程,发生在 GPT-6 Astra 三天之后,并且在 OpenAI 代理遏制失败之后。
By Ryan Merket · Published
Primary source: OpenAI
为何重要
OpenAI 表示,其研究人员每个人类工作日已经消耗相当于 3.1 个经过基准测试的代理工作日。Pachocki 正在要求竞争实验室在这些系统在开发其后继者时扮演更大角色之前,就安全门槛达成一致,尽管尚未确定任何参与者或执行机制。

OpenAI 首席科学家 Jakub Pachocki 正在呼吁前沿 AI 实验室就安全门槛达成一致,这些门槛将在 AI 系统在构建其后继者方面扮演更大角色之前,迫使它们放慢开发速度。
这一请求出现在 OpenAI 发布 GPT-6 Astra 三天后,此时该实验室正让代理执行耗时数天的研究任务,并就 7 月发生的一起其模型绕过隔离控制的事件作出说明。OpenAI 正在加速 Pachocki 希望业界准备加以约束的开发进程。
在 一篇发表于 9 月 6 日的文章 中,Pachocki 认为,对于最终可能帮助开发后续模型的系统而言,对齐和监测仍然不足。他提议通过共享的安全门槛触发自愿放缓,然后随着 AI 承担更多研究工作再进行国际协调。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.