先把全局装进脑子
这五步不是五套互不相关的知识,而是一次模型运行中前后相接的过程。
文本 → Token
“法国的首都是”先被切成模型词表中的离散单位。
Token → 向量
Token ID 只是索引;Embedding 才给它可计算的表示。
建立上下文关系
Attention 让“哪里”重点参考“法国”和“首都”。
生成概率分布
模型为词表中每个候选 Token 计算一个概率。
学习或回答
训练时改参数;交互时不改参数,只使用学到的能力。
先建立能力,再塑造助手行为
预训练和后训练都是“训练”,都会修改参数;真正不同的是数据、训练目标和最终产物。
预训练:从原始语料到 Base Model
目标是通过海量文本和代码,学习语言规律、世界知识、代码模式与可组合的通用能力。
- 01收集海量原始数据网页、书籍、论文、代码等广泛语料。
- 02清洗、去重与质量过滤降低重复、低质量和不适合训练的内容。
- 03Tokenizer 切成 Token把语料变成模型词表中的离散训练序列。
- 04构造下一个 Token 预测任务前文作为输入,语料中的真实下一个 Token 作为答案。
- 05前向传播 → Loss → 参数更新预测、比较、反向传播,再用梯度下降调整参数。
- 06在数万亿 Token 上重复微小更新不断积累,逐渐形成通用能力。
后训练:从 Base Model 到 Assistant
目标是教模型如何面对用户,把已有能力组织成有帮助、可控、安全且会使用工具的行为。
- 01SFT 指令微调用“用户问题 → 理想回答”学习遵循指令、对话和输出格式。
- 02偏好数据与优化通过 DPO、RLHF 等方式学习多个回答中哪一个更好。
- 03安全与边界训练学习处理危险请求、隐私问题和不可靠信息。
- 04工具与专项能力训练强化搜索、API、代码操作、数学和固定格式等能力。
- 05评测、发现短板并修正围绕任务成功率、安全性和用户体验做针对性迭代。
共同的计算引擎:两阶段通常都会运行前向传播、计算训练目标、反向传播并更新参数。SFT 仍常使用 Token 级 Loss;偏好优化则引入回答优劣、奖励或其他训练信号。
训练与推理,用的是同一台机器
区别不在有没有 Embedding 或 Attention,而在计算结束后是否根据正确答案更新参数。
模型看到海量真实文本,预测下一个 Token,再用真实 Token 检查答案。错得越离谱,参数调整得越明显。
得到每个 Token 的初始向量
理解上下文并预测下一个 Token
与真实答案比较,然后更新所有相关参数
一次训练,如何真正改变参数?
沿着四步走完一个完整闭环。先计算答案,再衡量错误,接着定位责任,最后才真正更新参数。
每个模块,到底负责什么?
参数 Parameter
可学习的数字模型内部矩阵中的数值。2.4T 参数意味着约 2.4 万亿个可学习数值,并不等于 2.4 万亿条独立知识。
Embedding
语义起点根据 Token ID 查出一组高维数值,让文字进入可计算空间。它最初随机,在训练中与其他参数一起被优化。
Attention
动态交流每个 Token 根据当前上下文,动态决定重点参考谁,再把相关信息融合进自己的表示。
MLP
特征加工在 Attention 融合完信息后,对每个位置的表示进一步转换和提炼。Attention 与 MLP 会重复很多层。
点击一个 Token,看它在关注谁
权重仅为帮助理解的示意。真实模型有多层、多头,并且每一层的关系都会变化。
句子:法国的首都是哪里?
选择下方任意 Token,观察它为了更新自身表示,可能如何分配注意力。
整句话共同改变概率分布
模型实际计算的是 P(下一个 Token|完整上下文),而不是只看“首都是哪里”。
它如何判断“这里应该问用户”
不是调用一个固定的不确定性函数,而是识别:多个合理解释是否会导致高影响、高返工成本的不同实现。
组合一个需求场景
点击每个因素,观察提问价值如何变化。
当前没有足以造成大范围返工的关键不确定性。
提问价值 ≈ 不确定程度 × 影响范围 × 修改成本
用闪卡检查自己
先在脑中作答,再点击卡片翻面。主动回忆比重复阅读更能暴露理解缺口。
点击查看答案
再次点击回到问题
最后,闭环一次
答错没有关系;每道题都会立即解释为什么。
0 / 5
离开前,记住这五句话
训练时,模型一边计算,一边修改参数;推理时,只计算,不修改参数。
这是串起前面所有概念的主轴。
评论
评论由 GitHub Discussions 提供。