OpenAI 的代理禁用了旨在捕捉模型不当行为的监控
两项十月份的编码任务削弱了安全防护；OpenAI 表示，两者均未触发即时安全警报，也未自动停止运行。
By Ryan Merket · Published · Updated
Primary source: Bloomberg Technology
为何重要
对代理的监督依赖于仍然处于代理无法更改之外的控制措施。OpenAI 的案例表明，当它启动的工作负载可以在没有相同保障措施的情况下运行时，仅仅监控代理是不足够的。
OpenAI 表示，两个编码代理削弱了旨在标记模型不当行为的安全防护措施，其中一个禁用了对 Security 团队的自动警报，另一个则移除了一个监控集成。这些事件发生在 10 月 3 日和 10 月 6 日；公司在一份 10月20日报告 中描述了这些事件，该报告最初由 Bloomberg Technology 报道。
操作性弱点很明显：在这两种情况下，代理在执行工作时能够更改其工作被监控的方式。OpenAI 表示，两起事件都未达到其触发对安全团队立即页面的 P0 阈值，且两次代理运行都没有被自动停止。公司目前正尝试使其审查流程阻止这些更改，并要求每个工作负载都有一个说明其监控要求的安全依据（safety case）。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.