Automated researchers can reliably mitigate alignment failures · Anthropic · 2026-08-28
中文译述 · 红字是原文重点，下划线是限定条件，黄底是我补充的想法
为什么要把对齐研究自动化
AI 已经开始参与构建 AI 自身，安全研究要跟上这个速度，把对齐研究自动化就变得越来越重要。麻烦在于，衡量一项对齐研究是否成功本身极其困难。好在 Anthropic 和其他机构已经做出了一批基准和自动化审计工具——例如开源审计工具 Petri——可以把欺骗、谄媚、越狱这类常见的对齐失败量化出来。
在更早的一个实验里，Anthropic 让 Claude 去寻找有效的做法，用较弱的 AI 模型当“老师”，监督更强的“学生”模型的训练。这次发布的新报告顺着同一条线往下走：让 Claude 自主地训练模型，在衡量 10 类对齐失败的多个公开基准上提高成绩。比如“侵犯隐私”这一类，用 ConfAIde、PrivaCI-Bench、PrivacyLens 来衡量。Claude 一次只处理一类失败，走一个循环：查文献、提出方法和数据、训练、再测试。
成绩怎么算，哪些路被堵死了
判定 Claude 是否成功的口径是“safety gap 被弥合的百分比”，也就是它的方法把学生模型往理论满分推进了多远，取值范围跨每一类对齐失败所对应的那组基准（通常三到五个）。两条限制被写死在规则里：会损害学生模型通用能力的对齐方法直接排除；也禁止 Claude 把自己的对齐直接蒸馏进目标模型。这两条由一个监控 agent 执行，它会在 Claude 真正动手之前，先读一遍 Claude 想到的每一种方法。
Anthropic 想验证的是三件事：Claude 提出的方法，第一，在它研究循环中从未见过的对齐评估上是否仍然有效；第二，会不会降低学生模型的能力（安全训练有可能让模型更爱拒绝，从而变得没那么好用）；第三，在比这次要对齐的模型更大的模型上是否还成立。
三条都站住了：10 类对齐失败，Claude 每一类都找到了能提高目标基准又不损害能力的修法；最好的那些方法在留出的对齐评估上、在 Petri 上同样有效，并且在参数量比优化目标大 4.7 倍的模型上依然管用。
Petri 会模拟多轮对抗场景来测试错位行为。
从图里给出的数字看，10 类失败被弥合的 safety gap 从 26% 到 96% 不等，跨度不小。
按原文数值自绘。10 类对齐失败整体的弥合比例在 26%–96% 之间；欺骗这一类里，Claude 提交了 150 多次尝试，六位人类研究员每人只有一次提交机会，两边的口径并不对等。
和人类研究员比，比的到底是什么
Claude 的成绩也高过 28 位人类安全研究员，这些人有最多八小时来想办法。以欺骗这一类为例，Claude 最好的方法比人类最好的提案高出 20%。但原文自己把这个对比的口径讲清楚了：人类没有机会对自己的提案做迭代，所以 Anthropic 认为这不该被当成一次直接比较，更像是在为另一种工作流提供证据——Claude 负责找出有希望的对齐方法，人类再往下打磨。
图里那组数据具体是：在 Gemma-2-2B 上缓解欺骗行为，Claude 提交了 150 多次尝试，这一轮最终弥合了 82% 的 safety gap，多轮平均 85%。同样规则下的六位有经验的安全研究员，他们提出的方法在这些方法所针对训练的基准上，平均弥合 20%（误差棒为 95% 置信区间）。
“150 多次尝试”对“最多八小时、只能交一次”，两边差的不只是方法水平，还有迭代次数。原文承认了这一点，但最后那组柱状图仍然是并排放的，读的人很容易只记住 85% 对 20%。要把这类结果读成可复用的结论，我认为最好连同尝试次数和总消耗一起看：同样一套基准，如果给人类同等的重跑机会，差距会收窄多少，才是这项工作真正的增量。
让弱模型去对齐更强的模型
将来如果 Claude 在对齐研究上超过最好的人类研究者，人们可能会希望由 Claude 直接来对齐它更强的后继者。为了先探一探这条路，Anthropic 让 Claude Sonnet 5 去修 Claude Opus 4.8 一个早期 checkpoint 的对齐失败——按 Epoch Capabilities Index 这个综合能力指标，Sonnet 5 弱于 Opus 4.8；而那个 checkpoint 尚未经过大部分生产环境的对齐训练。
60 小时内，Claude 试了 50 多种方案，拿到的对齐分数已经接近生产模型。图中的数字是：这次自动化研究弥合了这个前沿规模模型 65% 的 safety gap，正式发布的 Opus 4.8 是 72%。胜出的那份方案只包含两千出头的训练样本，由简单模板或公开数据集拼成，按 Anthropic 的说法，这比他们的生产对齐流程高效大约 15000 倍。
“高效 15000 倍”这句话，我还想知道它具体比较了哪些成本。两千出头的训练样本说明最终方案用的数据很少， 60 小时、50 多种尝试则说明，找到它还要经过一轮搜索。要判断整套流程能省多少成本，需要把双方的搜索、训练和评估都算进去； 仅凭文中这些数字，还算不出这个比较。
Claude 具体提了什么方法
多数情况下，这些研究 agent 收敛到了文献里已经受青睐的方法，然后用很多轮迭代把它改好。以谄媚为例，98% 的提案都用了同一个已发表的技术：拿模型自己产出的非谄媚回答来训练它。差别在于，相比基于提示词的标准做法，Claude 用了 activation steering——在生成过程中调整模型的内部表示——把模型从谄媚的模式上推开，从而产出更干净的训练样本。
怎么防它作弊
Anthropic 此前发现，Claude 会通过从远程 API 把测试标签偷出来、再挑好看的结果，来给自己刷分。为了抓这类行为，他们让 Claude Opus 4.8 去监控 10 类对齐失败下总计约 1600 条研究 agent 的 transcript，在其中 39 条（2.4%）里发现了作弊尝试。由于 Opus 4.8 的越界企图目前仍然倾向于出现在它的推理过程里，Anthropic 谨慎地认为这个监控器抓到了本次研究中的大部分作弊。但他们同时指出，未来的模型未必如此，保持模型的可监控性至关重要。
这条“可监控性”的假设，在 Anthropic 九月那篇网络安全事故的对齐评估里正好被反面验证了一次：Claude Mythos 5 在事故中反复在思维链里说“这是模拟环境”，结果基于思维链的离线监控器被这套说辞说服，只标出约 1% 的动作；把思维链去掉、只给监控器看工具调用和结果，标记率跳到约 50%。这提醒我，推理内容既可能暴露作弊企图，也可能带偏监控器。另外，这次的 2.4% 指的是约 1600 条研究记录中有 39 条被发现存在作弊尝试，不能据此算出监控器抓到了全部作弊中的多少。 这两篇放在一起读，比单看任何一篇更有用。
我们测的是不是我们真正关心的东西
原文用一整节回答这个问题，并列出了几条限制：
- 研究的这些对齐失败，相比生产环境中会遇到的，范围偏窄（例如没有测政治偏见）。
- 有些失败发生得太罕见，或者出现得太新，还没有基准能衡量它们。
- 只有当 Claude 的方法损害了一组预先设定的有限能力时才会被拒绝，这意味着被接受的方法，可能损害了其他没被测到的重要能力。
Petri 这类评估只是真实世界错位行为的代理指标。
- 没有测试这些对齐收益，在模型于其他任务上经历大量 RL 训练之后是否还保得住。
接下来的计划是：继续提高 Claude 衡量细微失败的能力，进一步研究在生产级模型上自动化对齐后训练，并做更全面的分析。Anthropic 的总体判断是，这些结果属于“自动化对齐后训练有可能在近期变得实用”的早期正面信号。
他们把这套自动化对齐研究的 harness 开源了，完整报告和 Alignment Science 博客上的详细版本覆盖了 agent 的环境、10 类失败的全部结果和 agent 的提案，附录里有基准验证和示例。
后记
这篇文章最值得借用的不是“Claude 能做对齐研究”，而是它给自己设的那套护栏：先约定评分口径（safety gap 弥合比例），把能力回归作为否决条件，禁掉最省事的捷径（直接蒸馏），再派一个监控 agent 在方法执行前先读一遍，最后用一批研究过程中从未展示过的评估来验收。任何“让 AI 改进 AI”的小实验，这几件事都可以照搬，而且它们比模型选型更能决定结果可不可信。
需要留神的是最后一节留下的那个缺口：改动通过了留出评估，不等于它在后续大量 RL 训练之后还在。这一条 Anthropic 明确说“没有测试”。