你已经一路看着规模在发威：GPT-2 放大见 zero-shot、GPT-3 放大坐实 in-context learning。但当时「为什么大就好、大多少才够、钱该砸哪」基本靠直觉和试错——本质是炼丹。
Kaplan 团队系统训练了一大批不同大小的模型，把每个的测试 loss 标到图上，发现一个惊人规律：
loss 随规模下降的轨迹，是一条干净的幂律直线（在对数坐标下）。
于是「越大越好」不再是感觉，而是 L(N) ≈ (Nc / N)^α 这种能算、能外推的关系——你给我算力预算，我能提前告诉你loss 大概落在哪。
性能（用测试 loss 衡量，越低越好）主要被三个量拖着走，对每一个都是幂律——单独拉大任意一个、其余不卡瓶颈时，loss 沿直线下降：
| 旋钮 | 是什么 | 关系 |
|---|---|---|
| N | 模型参数量（模型多大） | loss 是每个量的 幂律 （log-log 下是直线） |
| D | 训练数据量（喂多少 token） | |
| C | 算力（≈ N × D，花多少计算） |
幂律在 log-log 上是直线，翻成大白话就是残酷的边际递减： 想让 loss 再降同样一小步，得把算力翻 10 倍，再降一小步又要 10 倍。 loss 是线性地降，成本是指数地涨。这条曲线既解释了「为什么大力真出奇迹」，也解释了「为什么前沿模型越来越烧钱」——你下一节就能亲手感受这个落差。
这篇论文真正改变行业的，是两个「反炼丹」的结论——它们让 AI 从赌博变成可立项的工程。
| 洞察 | 说明 / 对行业的意义 |
|---|---|
| ① 平滑且可外推 | 曲线不拐弯，横跨好几个数量级。于是不用真训出那个巨无霸，用一串小模型的点就能预测大模型的 loss——大厂敢一次砸几千万美金，靠的是这条预测线，不是赌。 |
| ② scale 决定，shape 几乎不重要 | 在合理范围内，深一点/宽一点、超参微调这些架构细节，对 loss 的影响远小于规模本身。把精力花在「做大」，比花在「调结构」回报高得多——也呼应你 T5 学到的「shape 让位、scale 当家」。 |
| ③ 大模型更省样本 | 同样要达到某个 loss，更大的模型用更少的数据/步数就到了（sample efficiency 更高）。所以 Kaplan 的建议是：训练大模型、没必要训到收敛就停。 |
点不同的算力预算，看预测的测试 loss 怎么走。重点感受：每多花 10 倍算力，loss 只降一小截，而且越往后越不划算——这就是幂律的「边际递减」。
看出门道了吗：从 1× 到 1000×（一千倍算力），loss 也就降了一小段。这正是你该带进选型会的那把尺——「再大就更好」对，但要问清「再大多少、换来 loss 降多少、值这笔钱吗」。
| 幂律 | 说的是 | 实操含义 |
|---|---|---|
| L 对 N | 模型越大，loss 越低（幂律） | 没卡数据/算力时，做大模型最直接 |
| L 对 D | 数据越多，loss 越低（幂律） | 数据也得跟上，否则会过拟合见顶 |
| L 对 C | 算力越多，loss 越低（幂律） | 给定预算能外推出能到的最低 loss |
三者要配着放大：只放大模型不加数据，会撞上过拟合的墙；只堆数据不放大模型，模型「装不下」。Kaplan 给了它们大致的搭配比例——而「这个比例到底对不对」，正是下一课的战场。
最有产品味的问题：算力预算固定，是该训一个更大的模型，还是喂更多数据？这就是 compute-optimal（算力最优分配）。
| Kaplan 2020（本篇 P10） | Chinchilla 2022（下一篇 P11） | |
|---|---|---|
| 钱主要砸哪 | 砸模型大小（大模型更省样本，数据没必要喂太多、不必训到收敛） | 数据被严重低估，同样算力下模型应更小、数据喂更多，训到更充分 |
| 结论 | 「把模型做大」 | 「模型别那么大，多喂数据」——直接修正了 P10 |
🔮 这是这门课少见的「后人推翻前人」剧情：P10 立了 scaling law 的范式（loss 可预测、可外推，这点至今成立），但它对预算分配的具体建议，被 P11 Chinchilla 用更细的实验纠正。下一课你会看到：为什么一度人人追「更大」，后来转向「同算力下，小一点但喂饱数据」。
| 你工作里的东西 | 其实就是这篇论文的什么 |
|---|---|
| 工程师说「换更大的模型就更好」，你想判断真假与性价比 | scaling law 给你尺：更大确实更好，但 loss 是幂律边际递减——要追问「大多少、降多少、贵多少」 |
| 你用小流量 / 小样本实验，去外推大盘表现 | 同一个「平滑可外推」的直觉：小规模的点能预测大规模的走向（前提是没撞瓶颈、没换分布） |
| 你纠结「上大模型，还是小模型 + 更多 RAG / 更长上下文」 | 本质是 compute-optimal 的产品版：把有限资源投到「模型容量」还是「喂给它的信息」上——scaling law 是这道取舍的思维框架 |
| 「为什么前沿模型一代比一代贵得离谱」 | 因为 loss 每降一小步要成倍砸算力（幂律），越往前沿边际成本越陡 |
| 「为什么大家都先比谁大，不先比谁结构妙」 | 因为 scale > shape——规模对 loss 的影响远超架构微调，钱花在做大回报最高 |
把这一课接到你真实工作上的几个关键问。点开看答。
不矛盾，是两件事。scaling law 量的是预训练 loss（猜下一个词的平均误差），它确实平滑下降；而 涌现 说的是某个下游任务的准确率（如三位数加法），它可能在某个规模突然从「几乎为零」跳到「能用」。
直觉：底层那条 loss 曲线一直在悄悄滑，但「能不能做对一道需要多步推理的题」是个阈值型指标——loss 滑过某条线后，下游能力才肉眼可见地点亮。所以平滑的是 loss，阶跃的是下游能力，两条曲线别混。
三处直接有用：① 判真假——工程师说「再大就更好」，你知道方向对但要追问边际收益和成本，不被一句话带走；② 做选型——「上更大模型」vs「小模型 + 更多 RAG/上下文」就是 compute-optimal 的产品版，你能用「容量 vs 信息」的框架权衡；③ 会外推——小流量/小样本实验推大盘，吃的就是「平滑可预测」这条直觉（只要别换了数据分布、别撞瓶颈）。
一句话：scaling law 是你把「要不要花这笔算力/钱」从拍脑袋变成估算的尺。
loss 是什么：next-token 预测里，loss = −log(模型分给「正确那个词」的概率)——即模型每猜一个词「有多惊讶」的平均值。给正确词概率 1.0 → loss 0（零惊讶）；给 0.5 → 0.69；给 0.01 → 4.6（大跌眼镜）。loss 越低 = 越不惊讶 = 猜得越准。
为什么是 THE 指标：① 训练唯一直接优化的就是它，模型的所有知识/语法/推理都是「压低 loss」挤出来的副产品；② 它单一、平滑、跨模型可比，所以能当 scaling law 的纵轴（任务准确率坑坑洼洼，做不到）；③ 它就是 压缩即理解 的度量——loss 低 = 文本压得更狠 = 必须真懂才压得好。
下滑代表什么（三层）：机械层＝给正确词的概率更高；信息论层＝对文本压缩更好＝对世界的理解更到位；行为层＝能力点亮但不均匀（loss 平滑、下游能力可能阈值式 涌现）。
让「小幅下降」变具体：困惑度 perplexity ≈ e^loss ≈「模型在多少个候选词间纠结」。loss 3.0→2.0 看着只降 1，其实是从「约 20 个候选里挑」收窄到「约 7 个里挑」——一次大锐化，也是为什么这条幂律上「降一点」要砸成倍算力。
但别神化它：loss 只管「预测训练分布的文本有多准」，不管听不听话/安不安全/说不说真话（那是对齐/RLHF，P15）；且语言有不可消除的随机性，loss 有降不到的地板，永远到不了 0、也不该追 0。
读原典：Kaplan et al. — Scaling Laws for Neural Language Models（2020）。
建立直觉：先看论文第 1 页那几张「log-log 直线」图——一图胜千言。想看被推翻的部分，直接接读下一篇 Chinchilla。
阶段三推进：T5 统一形状 → Scaling Laws 量化「放大就涨」。下一篇 P11 Chinchilla：修正预算分配，告诉你「同算力下，模型别那么大、数据要喂饱」。
参考：
Kaplan et al., Scaling Laws for Neural Language Models, 2020.