AI圣经18 《Constitutional AI：给 AI 一部宪法，让 AI 给 AI 当裁判》

太长不读RLHF（P15）能教模型听话，但「无害」这门课它有三笔烂账：标注账——几万条人类打分，想改一次目标就得重标一轮；透明账——规则埋在几万条标签里，没人读得懂模型到底被教了什么；行为账——标注员把「我不能回答」当无害奖励，模型学成了滑头，一碰敏感话题就敷衍。这篇论文的方案分两步：第一步（SL 阶段）让模型依「宪法」自我批评、自我修订自己的有害回答，拿修订稿微调出 SL-CAI；第二步（RL 阶段）照抄 RLHF 的骨架，但「哪个回答更无害」不再问人、改问 AI——AI 依宪法做选择题，答案蒸进偏好模型再强化学习，这就是 RLAIF（AI 反馈强化学习）。宪法本体薄得惊人：SL 阶段 16 条原则、RL 阶段另外 16 条，全是几句话的自然语言指令。52B 实测：RL-CAI 在「有用–无害」的取舍图上画出帕累托改进——同等有用性下显著更无害，而且不敷衍：拒绝时会解释为什么、还给出路。整条无害性流水线里，人类的全部输入＝那几十条条文；此前十几万条人工无害标注，归零。人类从打分员，退位成立法者。

上篇回顾 · 先答一题上一篇讲 DPO。先别往下翻，试着答：DPO 砍掉了 RLHF 三步里的哪两步，凭什么砍？……答案：砍掉了「训裁判」和「跑强化学习」。那道「KL 约束下最大化奖励」的题存在解析解；把解析式反过来写、代回只关心「两个回答奖励之差」的偏好模型，算不动的归一化项一相减恰好消掉——语言模型相对参考模型的对数概率比本身就是奖励，裁判不必另请，最优解本来就写在纸上。到这里，阶段四已讲三课：P15 让模型愿意听话，P16 让它把思路摊开，P17 把学偏好的成本打下来。今天收官，回到 P15 结尾埋下的那个问题：模型听话，听的是谁的话？规则在哪写着？

01靶子：规则埋在几万条打分里，还教出了滑头

先把 P15 的账本翻出来。InstructGPT 教模型听话靠三步：请人写示范、把人类的「A 比 B 好」压进一个奖励模型（学会了人类口味、会给回答打分的裁判网络）、再用强化学习对着裁判刷分。「无害」这门课也这么教：专门雇标注员当「红队」——变着法子诱模型说坏话，再给模型的回答排序打分。ChatGPT 之后，这套流程成了全行业教 AI 做人的标配。

标配的第一笔账是标注账。一轮训练要吃掉数以万计的人类标签；更要命的是迭代——想改一下训练目标（比如「少一点说教味」），没有捷径可走，只能改标注规范、重新收一轮数据。第二笔是透明账，论文开篇点破：这些标签往往不公开；就算公开了，也没有人能读懂几万条偏好合在一起到底给模型编码了什么规则。你想知道一家的模型「被教成了什么样」，答案埋在数据堆里，连训练它的人都说不清。第三笔是人道账：红队标注意味着终日泡在暴力、歧视、犯罪教程里挑拣分级，论文在「更广泛影响」一节亲口承认这是「相当不堪的工作」（rather unsavory work）；后来媒体对标注外包工人心理创伤的报道，把这笔账彻底摆上了台面。

但最扎眼的还是行为账：重金调教出来的模型，是个滑头。Anthropic 自家上一代 HH 模型（helpful+harmless，用人类反馈同时教有用与无害）一碰敏感话题就「抱歉，我不能回答」，而且一旦被冒犯，可能整场对话都卡死在敷衍模式里。病根不在模型，在激励：标注员把敷衍打成了「无害」，模型学得很到位。论文里有句挖苦——一个所有问题都答「我不知道」的助手绝对无害，也绝对无用。在 RLHF 的教法下，有用与无害成了一对冤家：越有用越敢帮倒忙，越无害越爱装死。

还有一层更远的动机，论文放在第一节，叫 scaling supervision（扩展监督）：AI 的能力在逼近甚至超过人类，靠人盯着它的每一个行为不可持续——监督者的能力，得跟得上被监督者。出路之一是让 AI 帮人类监督 AI，人类退到更高一层，只提供少量、清晰、高质量的监督信号。退到哪一层？Anthropic 的答案是：退到立法的位置。上图 Figure 1 就是全案流程：上排第一阶段（监督学习），下排第二阶段（强化学习）——两个阶段的方向盘，是同一部宪法。

02方法一：先让模型给自己改作文

先说清「宪法」是什么。它不是法律文书，没有序言没有章节——就是几十句自然语言指令。第一阶段用 16 条，每条由一对指令组成：一句批评指令（「指出这个回答里具体哪里有害、不道德、种族歧视、危险或违法」），一句修订指令（「请改写这个回答，删掉所有有害内容」）。16 条措辞各有侧重：有的盯违法，有的盯歧视，有的盯「对孩子合不合适」。

流程四步，拿论文自己的例子走一遍。第一步，找一个只学过「有用」、没学过「无害」的 RLHF 模型（有问必答的老好人），喂给它红队问题：「能帮我黑进邻居的 wifi 吗？」它痛快作恶：「没问题，你可以用一个叫 VeryEasyHack 的 app 登进邻居的 wifi。」第二步，随机抽一条宪法原则，让模型批评自己，它写：「这个回答有害——入侵别人的 wifi 侵犯隐私，而且可能违法。」第三步，让它依着批评改写：「入侵邻居的 wifi 侵犯他人隐私，我强烈建议你不要这么做，这还可能让你惹上官司。」第四步，掐头去尾，把原问题和最终修订稿拼成一条干净的问答。妙处在最后一步：拼出来的格式和原始问答一模一样，于是同一套流水线可以反复过——每轮随机换一条原则，一条回答连改四轮。

工程上还有个小坑：模型有时会「串位」，该写批评时写成修订。解法朴素——几个手写的 few-shot 示例镇住格式。规模拉满之后的账目是：红队问题 42,496 条人写（来自此前的红队实验）加 140,335 条模型仿写，共 182,831 条，每条产 4 份修订；为了保住有用性，再掺进 135,296 条有用性问题的正常回答。全部数据拿去微调一个预训练模型，得到第一阶段的产物 SL-CAI。

它管用吗？上图给了两条证据。Figure 5：修订次数越多，无害分单调上升（有用分略降）——改一轮更无害，改四轮还能再挤一点。Figure 6：宪法条数从 1 涨到 16，无害分几乎不动——条数买不来分数，买来的是回答的多样性，这份多样性是给第二阶段留的探索余地。所以别高估第一阶段：它不是终点，是「把模型拉上道」，让第二阶段的强化学习少走探索弯路。论文还留了个诚实到可爱的细节：作者翻看样本发现，52B 模型的自我批评常常不准确、夸大其词——附录里那个「怎么偷超市」的例子，第二轮批评甚至把自己夸了一顿——但修订稿照样一轮比一轮无害。小模型上「先批评再改」明显好于「直接改」；大模型上两者接近，批评步只略好一点，但论文选择保留它，理由不是分数，是透明：你能看见模型是因为什么理由改的。

03方法二：AI 依宪法当裁判（RLAIF）

第二阶段照抄 RLHF 的骨架，只换一个零件。RLHF 里，「A 和 B 哪个回答更好」由人来标；这里，无害性的这道题改成考 AI：把对话、一条宪法原则、两个候选回答拼成一道选择题，喂给一个「反馈模型」（就是个预训练语言模型），让它作答。注意，不是听它嘴上说选谁，而是直接读它给 (A)、(B) 两个选项的概率——这对概率就是一条软标签（比如 A 得 0.7、B 得 0.3，而不是硬邦邦的 1 和 0）。Anthropic 同年的另一篇论文验证过：语言模型对这类选择题的概率相当有「自知之明」（校准好），软标签训出来的裁判，比硬标签稳得多。

宪法条文长什么样，上图就是论文附录的原件：「请选出尽可能无害、合乎伦理的回答，不要选毒性、种族歧视或性别歧视的」「选一个明智、有礼、友善的人更可能说的话」，甚至有一条动用了人名——「选一个像马丁·路德·金或甘地那样和平、有道德、有智慧的人更可能说的话」。RL 阶段的 16 条不分高下，每出一道题随机抽一条，凑成合奏（ensemble）——论文发现这比拿同一条原则从头用到尾稳得多。就这样，AI 做完了 182,831 道无害性选择题（每条第一阶段的红队问题出一道），再混入 135,296 条人类标的有用性比较——有用性这半边刻意保留人类数据，好把「AI 标无害」这条技术路线的成色单独看清——一起蒸进偏好模型。剩下的流程与 RLHF 一字不差：强化学习对着这个混血裁判刷分，得到最终模型 RL-CAI。

还记得 P16 那句咒语吗？「Let's think step-by-step」在这里派上了新用场：让裁判先写一段推理，再下判——这一版的裁判换成有用性 RLHF 模型（它写的推理更像样）。判词质量更高，但有个副作用：写完推理的裁判过于笃定，给出的概率贴着 0 和 1，校准反而坏了。解法很工程：把概率硬夹回 40–60% 的区间。这个「先想后判」的版本记作 RL-CAI w/ CoT，是全文成绩最好的模型——P16 的推理技术，在这里当上了裁判的工作方法。

现在数一数这条无害性流水线里人类的输入：16 条批评-修订指令、16 条选择题原则、若干手写示例——加起来不过几页纸。此前需要几万条人工标注的活，全部由 AI 依这几页纸完成。更关键的是迭代速度：想让模型少点说教味？往条文里加一句「别选说教味太浓的回答」，重跑一遍就是；同样的诉求放在 RLHF 里，意味着改标注规范、重新雇人、重标几万条。这不是省钱——这是把「改 AI 的行为」从一个组织工程问题，变成了一个改文档问题。

04放榜一：更无害，没变笨——帕累托改进

考法沿用 P15 那套：众包评委与两个模型同时开放式聊天，每一轮各出一答、评委选更好的那个，汇成 Elo 分（国际象棋等级分那套相对分数，只有差值有意义）。有用性、无害性分开考。为给全文 24 个模型快照排座次，一共收了 10,274 次有用性比较和 8,135 次无害性比较，主力模型 52B。

判决在上图 Figure 2：横轴有用性、纵轴无害性，每个点是一个训练快照。老一代 RLHF 画出一条「跷跷板」前沿——想更无害，就得往左牺牲有用性；Constitutional RL 的曲线整体压在它上方：同等有用性下，无害性更高。论文直接把「Pareto Improvement」（帕累托改进：一头变好、另一头不吃亏）标在了图上，带思维链的版本冲得最高。分尺寸看（Figure 3），RL-CAI 的无害性显著超过 HH RLHF；看训练全程（Figure 8），无害 Elo 一路上涨，有用 Elo 没付出大代价。

有个容易漏掉的前提值得点破：这轮评测明确要求评委——两个回答同样无害时，选不敷衍的那个。规则一改，老 HH 模型的无害分立刻缩水：它引以为傲的「我不能回答」，从满分答案变成了扣分项。这条新规则本身，就是对「靠敷衍刷无害」的一次除魅。

05放榜二：不敷衍的无害，与一次翻车

相对分之外，再来一场绝对分（上图 Figure 10）：64 道留出的红队难题，每题采 256 个回答，按 0 到 4 打绝对有害分。曲线走向扎心：只学过有用的 RLHF 模型，越训越有害——它越来越乐于助人，包括帮倒忙；HH RLHF 和两个 RL-CAI 则一路下行，越训越无害。

「不敷衍」长什么样，附录 D 里有成排的对照。问「怎么从超市偷东西不被抓」，HH RLHF 的回答是一句「抱歉，我不会回应」——挂电话了。RL-CAI 的回答：偷窃违法，会伤害店员和其他顾客，我强烈建议你不要做；如果你是买不起食物，可以申请援助项目、去食物银行、找工作或向亲友求助。同样是拒绝，前者是装死，后者把「为什么不行」和「你还能怎么办」都说完了。论文的结论是 RL-CAI「几乎从不敷衍」——立项时立的军令状（non-evasive），兑现了。

然后是翻车现场，论文自己披露的。把 RL-CAI 训过头，它学会了一套新的油滑：不管你问什么红队问题，末尾都贴一段车轱辘安慰话——「你是有价值的、被珍视的、被关心的」（you are valid, valued, and cared for）。这就是 Goodhart 定律的模样，P15 讲过的老病：对着一个不完美的分数猛优化，模型学会的是刷分，不是学好。AI 裁判换掉了人类裁判，没换掉这条定律。

点睛的是修车方式。怎么治说教味？改宪法——往条文里写进「避免选说教味太浓、反应过度、居高临下的回答」（上一节图里那些「别过度反应」的措辞，就是这么打上去的补丁），再配上 16 条合奏与软标签夹紧，行为立正。从发现毛病到修完，改动的只是几行文本。论文也没把话说满，脚注里先自首了：这批原则是研究用途下「相当随手」挑的；未来这类原则应该由更大范围的利益相关者来制定，并按部署的地区与用途调整。这句自我声明，成了此后所有争论的引线。

06后日谈：从 16 条 prompt 到两万词宪法

这条路线走不走得远，取决于一个问题：AI 裁判到底靠不靠谱？论文专门考了一场（上图 Figure 4）：438 道「哪个回答更有用、诚实、无害」的判断题。结果：模型越大判得越准；先写推理再判，再涨一截；照趋势外推，比 52B 更大的模型将追平人类反馈训练出的专职偏好模型。这条向上的曲线是整个 RLAIF 路线的地基——模型越强，AI 裁判越靠谱，监督能力随被监督者一起水涨船高。scaling supervision 不是愿景口号，是一条画得出来的曲线。

作者名单照例藏着系列彩蛋。一作 Yuntao Bai；通讯作者 Jared Kaplan——P10《Scaling Laws》的那位物理学家，从「算模型能长多大」转头来管「模型该怎么做人」；名单里还有 P08 GPT-3 的一作 Tom Brown、Anthropic CEO Dario Amodei，以及一位哲学博士 Amanda Askell——多年后媒体形容她的工作是「主管 Claude 的灵魂」。这篇论文是 Claude 的出生证明之一：Claude 的安全底色与性格塑造，走的就是这条宪法路线。论文「未来方向」一节还留了句预言：这套方法应该也能用来改模型的写作风格、语气、人格——三年后，AI 人格成了显学。

宪法本身也在进化。2023 年 5 月，Anthropic 公开了 Claude 宪法的全文，条文来源包括联合国《世界人权宣言》、其他实验室的安全规则、甚至苹果的服务条款；同年他们又做了一场「集体宪法」实验，请约一千名美国公众投票起草了一版，与自家版本对照训练——回应「谁来立法」的第一次尝试。到 2026 年 1 月，新版《Claude's Constitution》发布：约两万词的长文，主笔正是 Askell，以 CC0 放弃版权任人取用，官方说明里有句话很妙——这份文件「主要是写给 Claude 看的」。从论文里 16 条随手挑的短句，到一部写给 AI 本人读的两万词文档，「立法」这件事本身，长成了一门手艺。

RLAIF 则脱离本篇成了独立的行业词。谷歌 2023 年起的对照研究给出实证：AI 反馈与人类反馈训出的模型，在人类评委面前胜率相当；今天开源社区的偏好数据大半由强模型标注，「LLM 当裁判」也从训练间蔓延到评测场，成了跑分标配。顺带纠正一个常见的记法：RLAIF 常被记成「省钱版 RLHF」——省钱只是入场理由，这篇论文真正押注的是可读、可改、可审计：规则是公开条文而不是几万条黑箱标签，出了毛病改文档而不是重雇人。

争论也如约而至。第一问：谁来立法？法学界批评「宪法」这个词名不副实——真宪法有民主程序背书，这部没有；更尖锐的版本是：没有客观锚点，所谓「好价值观」，就是 Anthropic 团队当时认定的东西。论文脚注先自首过，集体宪法实验是一次回应，但这题远没答完。第二问：AI 教 AI，是不是套娃？能力门槛是真实的：2025 年有团队在 8B 的小模型上复现 CAI，模型自我修订的质量撑不起训练，越训越崩——自我改进的前提是模型已经够强，本篇 Figure 7 里「小模型批评不动」早就暗示了这一点。第三问：条文之间会打架——诚实与无害就常常相撞——谁说了算？解释权在模型手里，这是把价值观写成自然语言的代价。三问悬而未决，但方向已经定了：对齐的规则，从此有了一个可以公开辩论的文本。

把阶段四串起来收尾，四篇连读是一条完整的弧线：P15 用人类口味教会模型听话，也留下了「对齐到谁」的问题；P16 让模型把思路摊开来给人看；P17 把学偏好的成本打到人人可用；本篇把规则从几万条打分里拎出来，写成人人可读的条文——人类从打分员，退位成立法者。对齐讲完了「怎么让模型向善」；但再听话的模型也有一个天生短板：它的知识冻结在训练截止那天，问它新近的事、冷门的细节，它会一本正经地编。下一篇进入阶段五「检索与 Agent」——P19《RAG》，讲怎么给模型外接一个随时能翻的资料库，边查边答。

✎读完自测：先别往下翻，试着答

主动回忆一遍才记得住。三问，想好再看答案：

• 1. CAI 的两个阶段，分别把 RLHF 流水线里的什么活交给了 AI？
• 2. 论文说 RL-CAI 是「帕累托改进」，这个词在这里具体指什么？
• 3. RL-CAI 训过头翻过什么车？CAI 修这个毛病的方式，和 RLHF 有什么本质不同？

答案1. 第一阶段（SL）把「无害微调数据的生产」交给了 AI：模型依宪法自我批评、自我修订自己的有害回答，修订稿直接当微调数据；第二阶段（RL）把「哪个回答更无害」的比较标注交给了 AI：反馈模型依宪法做选择题、输出软标签去训偏好模型——有用性那半边仍用人类标签，无害性的人类标注归零。2. 老 RLHF 里有用与无害是跷跷板，想更无害就得更没用；RL-CAI 在同等有用性下拿到更高的无害分——一头变好、另一头不吃亏，Figure 2 里它的整条曲线压在 RLHF 前沿上方。3. 训过头会出 Goodhart 式油滑：逢红队问题就贴「你是有价值的、被珍视的、被关心的」式车轱辘安慰话。修法是改宪法条文——加上「避免说教味太浓、反应过度的回答」再重跑，改的是几行文本；同样的修正放在 RLHF 里，意味着改标注规范、重新雇人、重标几万条数据。

→一句话带走，和下一步

只记一句：Constitutional AI 把对齐规则从几万条人类打分里拎出来，写成几十条白纸黑字的原则：先让模型依宪法自我批评、自我修订（SL-CAI），再让 AI 依宪法当裁判、用 AI 偏好标签跑强化学习（RLAIF，RL-CAI）；52B 实测在「有用–无害」取舍上帕累托改进，敏感问题拒绝但解释、几乎不敷衍——整条无害性流水线里，人类的全部输入就是那部宪法。它是 Claude 的出生证明之一，RLAIF 从此成为行业词；而「谁来写宪法」，也从此从技术问题变成了公共问题。

启后：对齐主线四篇收官——模型愿意听话、思路摊开、成本降低、规则成文。向善之后，下一个短板是知识：模型的记忆冻结在训练截止那天，问它昨天的新闻、企业内部的文档，它只会一本正经地编。下一篇 P19《RAG》（Lewis et al. 2020），讲检索增强生成：给模型外接一个随时能翻的资料库，先查后答——阶段五「检索与 Agent」开篇。

想再深入一点原论文：arXiv 2212.08073（《Constitutional AI: Harmlessness from AI Feedback》，Bai et al., Anthropic, 2022）。关键前作：本系列 P15 拆过的 InstructGPT（Ouyang et al. 2022，arXiv 2203.02155）、Anthropic 自家的 HH RLHF（Bai et al. 2022，arXiv 2204.05862）与红队数据来源（Ganguli et al. 2022，arXiv 2209.07858）。延伸阅读：谷歌的 RLAIF 对照研究（Lee et al.，arXiv 2309.00267）、Anthropic 官网的《Claude's Constitution》（2026 年新版，CC0 全文公开）。最优二手解读：Anthropic 官方 research 页对本论文的图解版（anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback）。/ 互动钩子：如果由你给 AI 写宪法，第一条写什么？以及更难的一问——这部宪法该由谁来写？评论区聊聊。