Goodfire 从模型内部监控 AI 代理,以降低审查成本

Goodfire 在 Baseten 的发布中使用小型探针,在将其升级之前标记出有风险的行为。Goodfire 报告了 Kimi K3 的成本和检测结果,以及 GLM-4.5-Air 的单独探针结果。

By · Published

Primary source: TechCrunch

为何重要

Goodfire 正在将可解释性研究转化为一个推理时的产品。它已发布来自 GLM-4.5-Air 的一个禁止行为示例的探测结果以及 Kimi K3 的黑客监控测试结果,尽管这些公司自行发布的结果并不能证明其在客户部署中的表现。

Goodfire’s small probes monitor a branching model lattice, catching a risky agent path before it reaches the edge.

Goodfire 在 10 月 8 日推出了针对 AI 代理的监控器,这些监控器在模型的计算内部寻找风险行为,旨在避免由第二个 AI 重新逐步审阅带来的高昂费用。根据 TechCrunch 的报道,该初始产品已在 Baseten 的推理平台上向客户提供,客户可以决定当出现警报时是记录日志、发送给人工审核员,还是用于拒绝请求。…

When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.

Reader comments

Conversation for this story loads after sign-in.