← 交互式学习

大模型是怎样学会与回答的?

大模型 · 实验与测验 · 整理于 2026-10-27

从预训练、后训练到推理,用 Attention 实验、闪卡和测验串起大模型的学习过程。

基于我们的完整对话整理

大模型,是怎样
学会与回答的?

从预训练和参数出发,沿着 Token、Embedding、Attention 一路走到推理。你不需要公式基础;这里用同一个“法国首都”例子,把所有概念串成一条线。

01 · 学习地图

先把全局装进脑子

这五步不是五套互不相关的知识,而是一次模型运行中前后相接的过程。

01

文本 → Token

“法国的首都是”先被切成模型词表中的离散单位。

02

Token → 向量

Token ID 只是索引;Embedding 才给它可计算的表示。

03

建立上下文关系

Attention 让“哪里”重点参考“法国”和“首都”。

04

生成概率分布

模型为词表中每个候选 Token 计算一个概率。

05

学习或回答

训练时改参数;交互时不改参数,只使用学到的能力。

02 · 模型训练生命周期

先建立能力,再塑造助手行为

预训练和后训练都是“训练”,都会修改参数;真正不同的是数据、训练目标和最终产物。

Pre-training

预训练:从原始语料到 Base Model

目标是通过海量文本和代码,学习语言规律、世界知识、代码模式与可组合的通用能力。

  1. 01
    收集海量原始数据网页、书籍、论文、代码等广泛语料。
  2. 02
    清洗、去重与质量过滤降低重复、低质量和不适合训练的内容。
  3. 03
    Tokenizer 切成 Token把语料变成模型词表中的离散训练序列。
  4. 04
    构造下一个 Token 预测任务前文作为输入,语料中的真实下一个 Token 作为答案。
  5. 05
    前向传播 → Loss → 参数更新预测、比较、反向传播,再用梯度下降调整参数。
  6. 06
    在数万亿 Token 上重复微小更新不断积累,逐渐形成通用能力。
产物:会续写、拥有基础知识与能力的 Base Model
Post-training

后训练:从 Base Model 到 Assistant

目标是教模型如何面对用户,把已有能力组织成有帮助、可控、安全且会使用工具的行为。

  1. 01
    SFT 指令微调用“用户问题 → 理想回答”学习遵循指令、对话和输出格式。
  2. 02
    偏好数据与优化通过 DPO、RLHF 等方式学习多个回答中哪一个更好。
  3. 03
    安全与边界训练学习处理危险请求、隐私问题和不可靠信息。
  4. 04
    工具与专项能力训练强化搜索、API、代码操作、数学和固定格式等能力。
  5. 05
    评测、发现短板并修正围绕任务成功率、安全性和用户体验做针对性迭代。
产物:能遵循指令、对话和执行任务的 Chat / Assistant Model
→

共同的计算引擎:两阶段通常都会运行前向传播、计算训练目标、反向传播并更新参数。SFT 仍常使用 Token 级 Loss;偏好优化则引入回答优劣、奖励或其他训练信号。

边界 1预训练 vs 后训练比较两个训练阶段:学什么、用什么数据、产出什么模型。
边界 2训练 vs 推理比较是否根据答案反向传播并修改参数。
边界 3一次训练内部前向传播 → Loss → 反向传播 → 梯度下降。
03 · 关键分界

训练与推理,用的是同一台机器

区别不在有没有 Embedding 或 Attention,而在计算结束后是否根据正确答案更新参数。

一边做题,一边改脑子

模型看到海量真实文本,预测下一个 Token,再用真实 Token 检查答案。错得越离谱,参数调整得越明显。

有标准答案计算 Loss更新参数
Embedding 在这里被“学出来”;Attention 的投影矩阵也在这里不断被调整。
T
Tokenizer → Embedding
得到每个 Token 的初始向量
↓
A
Attention → MLP
理解上下文并预测下一个 Token
↓
L
Loss → 反向传播
与真实答案比较,然后更新所有相关参数
04 · 深入学习路径

一次训练,如何真正改变参数?

沿着四步走完一个完整闭环。先计算答案,再衡量错误,接着定位责任,最后才真正更新参数。

输入 → 输出:
法国首都示例:
常见误区:
05 · 四个核心概念

每个模块,到底负责什么?

参数 Parameter

可学习的数字

模型内部矩阵中的数值。2.4T 参数意味着约 2.4 万亿个可学习数值,并不等于 2.4 万亿条独立知识。

类比:一座巨大工厂里的旋钮;单个旋钮通常没有清晰的人类含义,组合起来决定工厂如何加工输入。

Embedding

语义起点

根据 Token ID 查出一组高维数值,让文字进入可计算空间。它最初随机,在训练中与其他参数一起被优化。

类比:不是员工编号,而是员工进入会议前携带的“初始身份资料”。

Attention

动态交流

每个 Token 根据当前上下文,动态决定重点参考谁,再把相关信息融合进自己的表示。

类比:开会时,“哪里”会重点听“法国”和“首都”的发言。

MLP

特征加工

在 Attention 融合完信息后,对每个位置的表示进一步转换和提炼。Attention 与 MLP 会重复很多层。

类比:听完会议后,每个人独自消化信息、形成更抽象的判断。
06 · Attention 实验室

点击一个 Token,看它在关注谁

权重仅为帮助理解的示意。真实模型有多层、多头,并且每一层的关系都会变化。

句子:法国的首都是哪里?

选择下方任意 Token,观察它为了更新自身表示,可能如何分配注意力。

注意:Attention 不等于“找关键词”,也不保证某个权重能直接解释模型的全部推理。
07 · Next Token

整句话共同改变概率分布

模型实际计算的是 P(下一个 Token|完整上下文),而不是只看“首都是哪里”。

法国的首都是哪里?
08 · Coding Agent

它如何判断“这里应该问用户”

不是调用一个固定的不确定性函数,而是识别:多个合理解释是否会导致高影响、高返工成本的不同实现。

组合一个需求场景

点击每个因素,观察提问价值如何变化。

可以遵循仓库惯例,自主推进

当前没有足以造成大范围返工的关键不确定性。

Agent 隐含的判断近似为:

提问价值 ≈ 不确定程度 × 影响范围 × 修改成本

低影响、易回滚自行决定
仓库已有明确模式遵循现状
多种合理解释 + 高影响先提问
需求与实现冲突说明依据并提问
好的提问应包含:不明确事项、仓库依据、可选方案,以及推荐方案。
09 · 主动回忆

用闪卡检查自己

先在脑中作答,再点击卡片翻面。主动回忆比重复阅读更能暴露理解缺口。

问题

点击查看答案

答案

再次点击回到问题

10 · 理解测验

最后,闭环一次

答错没有关系;每道题都会立即解释为什么。

当前得分
0 / 5
11 · 一页复盘

离开前,记住这五句话

训练时,模型一边计算,一边修改参数;推理时,只计算,不修改参数。

这是串起前面所有概念的主轴。

大模型原理 · 交互式学习笔记
内容依据本次对话重构。所有概率与注意力权重均为教学示意,不代表特定真实模型的内部数值。

评论

评论由 GitHub Discussions 提供。