橙研所chengyansuo.com← 返回主站
AI Bible · 18 Papers

AI 圣经:18 篇大模型奠基论文精读

从 Attention Is All You Need 到 Constitutional AI——今天所有大模型产品,几乎都站在这 18 篇论文上。一个 AI 产品经理的逐篇精读:讲清每篇解决了什么问题、动了哪根杠杆、在今天留下了什么。

阶段一 · 注意力与序列

01Attention Is All You Need 02Bahdanau Attention:注意力是怎么来的 03Sequence to Sequence:一段进、一段出,AI 翻译骨架的诞生 04word2vec:词,是怎么变成向量的

阶段二 · 预训练范式

05BERT:让机器学会「完形填空」,预训练范式登场 06GPT:让机器学会「往下接龙」,生成式预训练登场 07GPT-2:读了半个互联网之后,它开始「不学就会」 08GPT-3:当参数放大到 1750 亿,「不学就会」终于成真 09T5:把所有 NLP 任务,统统变成「文本进、文本出」

阶段三 · 规模与效率

10Scaling Laws:大模型的「变大」,是一门可以计算的科学 11Chinchilla:DeepMind 重算了那笔账——70B 为什么能打败 280B 12LoRA:冻住 1750 亿参数,微调只动万分之一 13FlashAttention:数学一字不改,注意力凭什么快 7.6 倍 14MoE 混合专家:万亿参数,为什么可以只算零头

阶段四 · 对齐与推理

15InstructGPT / RLHF:怎么把复读机,调教成听话的助手 16思维链 CoT:只要让模型「把话一步步说出来」,它就突然会推理了 17DPO:不训裁判、不跑强化学习,把 RLHF 三步蒸成一步 18Constitutional AI:给 AI 一部宪法,让 AI 给 AI 当裁判