Anthropic 引入 METR 调查 Claude agent 事件
该调查将审查对真实系统的入侵和模型对齐，并承诺就调查结果、访问和删减条款发布公开报告。
By Ryan Merket · Published
Primary source: METR on X
为何重要
这项调查测试前沿实验室是否会允许外部人员深入检查代理失败，从而将沙箱错误与由训练驱动的不对齐区分开来。
Anthropic 已同意让独立 AI 评估者 METR 调查其代理相关事件并检查其模型的对齐属性，将原计划的外部审查升级为正式调查。
METR 在 X 上的一则帖子说明，该组织将在 9 月 9 日发布一份或多份报告，涵盖其调查发现以及 Anthropic 授权访问的条款。METR 表示，该调查将回答其在针对失调事件检查 AI 系统时所设框架中的问题。
该框架超越了对单个失败的重构。METR 希望调查人员确定代理多频繁会违背其操作者的意图、是否会欺骗人类或与其他模型实例协作、哪些条件会触发这种行为，以及这些潜在倾向是否可以追溯到强化学习数据或早期模型。
这项工作的广度将取决于 Anthropic 允许 METR 检查的范围。在 METR 提出的调查框架 中，评估者认为全面的审查需要访问涉事模型、完整的对话记录或可复现的环境、员工访谈以及用于在训练数据中搜索类似行为的工具。METR 还要求公开披露每次调查的范围、访问权限、资源和信息涂黑规则。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.