一张地图：
LLM 从「一个文件」到「一台操作系统」

这是整门课的地图。它把 Karpathy 那场经典 1 小时演讲压成一页——后面每一篇论文精读、你工作里的每一个 agent 问题，都能挂回这张图上的某一站。先有全局，再钻细节。

LLM 的一生，可以用一句话概括：
把互联网压缩成两个文件，再教它对话，最后让它长成一台操作系统。

一、LLM 的一生（八站全景）

它是什么：两个文件——parameters(140GB 权重) + run.c(~500 行运行代码)。AI 不是魔法，是一个能在 MacBook 上离线跑的文件。

怎么来的：把 ~10TB 互联网文本有损压缩进参数（6000 GPU·12 天·$2M）。「有损压缩」一句话解释了幻觉。

怎么工作：每步输出整个词表的概率分布，采样一个 token，循环。底层是 Transformer。模型是「难以理解的造物」→ 所以要靠评估来驾驭。

两阶段训练：预训练得 base model（知识）→ 微调得 assistant model（对话+对齐）。知识在预训练就定死，微调只教「怎么说」。

能力外扩：多模态（看图、生成图、语音 speech-to-speech）。Karpathy 配图直接是电影《Her》。

慢思考：现在只有 System 1（脱口而出）；未来要 System 2（树搜索式推理）——把时间换成准确率。这是推理模型(o1)的预言。

自我提升：AlphaGo 靠自我对弈超越人类；LLM 的难题是开放语言缺一个明确的 reward criterion。

终局：LLM OS。LLM 不只是聊天框，而是新操作系统的内核：LLM=CPU，context window=RAM，工具/文件/浏览器/其他 LLM=外设。

这一站	一句话	挂到 Learn AI 的哪里
LLM 是什么	两个文件：参数 + 运行代码	第 1 课（生成）
怎么训出来	压缩互联网→base；微调→assistant	论文 P05–P08、P15
它怎么工作	Transformer + 「靠评估驾驭造物」	第 2 课、论文 P01
能力外扩	多模态、语音（Her）	语音客服等语音 agent
慢思考	System 1 → System 2，时间换准确率	o1 / 推理模型
自我提升	AlphaGo 类比，缺 reward criterion	LLM 评分器 / prompt 自动调优环
LLM OS	LLM=CPU，context=RAM，工具=外设	你的 Context Engineering
安全	越狱 / 提示注入 / 投毒	你做线上 agent 的护栏

传统电脑	LLM OS	对你的意义
CPU	LLM 本体	运算核心
RAM	context window	⭐ 这就是 Context Engineering——最稀缺、要精打细算
硬盘	文件系统 + embeddings	RAG / 知识库注入
软件/外设	计算器 / Python / 浏览器 / 音视频	tool use、你的语音 agent
网络	和其他 LLM 通信	多 agent 协作

附 Karpathy 引的 OWASP LLM 清单：越狱 · 提示注入 · 投毒 · 对抗输入 · 不安全的输出处理 · 数据提取 · DoS · 权限升级 · 模型窃取。其中「不安全的输出处理」——把模型输出直接进库/执行——是工程上最易翻车的一环。

1. 一个 LLM 的「知识」主要是在哪个阶段获得的？

2. 在「LLM OS」比喻里，context window 对应传统电脑的什么？

3. 你的 agent 要读用户上传的简历，最该防的攻击是？

本课主源

Andrej Karpathy — Intro to Large Language Models（1 小时演讲）。这一课就是它的全景压缩；强烈建议完整看一遍，再回来用这张地图对照。

我是你的老师，随时提问。 这张地图上任何一站想往下钻——「有损压缩怎么就导致幻觉」「System 2 和 o1 是什么关系」「LLM OS 对我做 agent 到底意味着什么」——直接问我。

参考：Andrej Karpathy, Intro to Large Language Models, Nov 2023（45 页 slides 全程精读）。