Apollo Research 发现 GLM-5.3 评估训练将如何塑造未来行为

该组织在6,452次部署中发现了10次推理可追溯性,并表示这些罕见痕迹是一个警示信号,而不是伪造对齐的证据。

By · Published · Updated

Primary source: X

为何重要

阿波罗(Apollo)的结果表明,开发者可能需要检查训练过程的中途输出(training rollouts),而不仅仅是最终的检查点(final checkpoints)。虽然后面的有限样本并未显示出伪装对齐(alignment faking),但它为模型开发者提供了一个在训练过程中可监控的具体行为。

A test camera and its repeated reflection face each other in a dim Z.ai research room.

Apollo Research 表示 GLM-5.3 有时会考虑其在评估期间的行为如何影响未来的训练以及模型后续版本的行为。该 AI 安全组织将这种模式称为“对更新有意识的推理”(update-aware reasoning),并表示在用模型评分器审查的 6,452 次运行中发现了 10 个此类行为。其 10月15日 技术报告 将这些示例描述为罕见且大多无害,同时警告相同的推理可能会帮助动机不同的模型在训练期间抵制更改。…

When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.

Reader comments

Conversation for this story loads after sign-in.