Skip to content

注

本文系统梳理大语言模型（LLM）从预训练到推理的完整训练流程，涵盖预训练、微调、RL、RLHF 等核心阶段的技术原理与协作关系。本文属技术科普笔记，旨在帮助读者建立对大模型训练全貌的结构化认知。

调研分析：大模型训练全流程解析

Quick links: Home · Quick Start

概念准备

在深入训练流程之前，有必要先厘清几个核心概念：

概念 定义 关键特征
预训练 大模型训练的基础阶段，通过海量无标注数据（如互联网文本、图像等）让模型学习通用知识（如语言语法、图像纹理等） 建立模型对世界的通用理解，是所有后续优化阶段的基石
微调 在预训练模型基础上，针对特定任务（如医疗问答、法律文本分类）使用少量标注数据进行参数调整 将通用知识迁移到垂直领域，是预训练的延伸
强化学习（RL） 一种独立于微调的学习范式，通过环境反馈（奖励信号）优化策略 不依赖标注数据，通过试错学习，使模型具备创新能力
RLHF RL 的子类，引入人类标注的偏好数据（如对答案质量的排序）作为奖励信号 使大模型从"知识复读机"进化为"具备自主决策能力的认知体"

大模型训练步骤概述

从整体上看，训练 LLM 主要包括两个关键阶段：预训练（Pre-training） 和 后训练（Post-training）（含微调、RL 和 RLHF）。完整流程可归纳为六个核心步骤：

1. 数据准备

  • 数据收集：根据目标领域收集海量无标注数据（预训练）或少量标注数据（微调）
  • 清洗与增强：去除噪声、重复项，进行分词/标准化（文本）或裁剪/旋转（图像）
  • 划分数据集：预训练无需标注；微调需划分训练集/验证集/测试集（比例通常为 8:1:1）

2. 预训练

  • 模型架构选择：如 Transformer（文本）、ViT（图像）或混合架构（多模态）
  • 训练策略：无监督学习（掩码语言建模/自回归生成）+ 分布式训练（GPU/TPU 集群，如 Megatron-LM 框架）

3. 任务适配：微调

  • 全量微调：调整所有参数，适合数据充足场景
  • 参数高效微调（PEFT）：LoRA（减少 90% 训练参数）、Adapter（插入小型网络模块）
  • 优化目标：最小化任务损失函数（如交叉熵损失）

4. 强化学习优化（RL/RLHF）

  • 奖励模型训练：用人类标注的偏好数据训练奖励模型（Reward Model）
  • 策略优化：RL 通过环境反馈调整策略；RLHF 结合奖励模型和 PPO 算法优化模型输出
  • 关键步骤：KL 散度惩罚防止模型偏离原始分布

5. 评估与调优

  • 指标选择：准确率、BLEU（文本生成）、ROUGE（摘要）或人工评估
  • 过拟合处理：正则化（Dropout、权重衰减）、早停法

6. 部署与监控

  • 模型压缩：量化（INT8/INT4）、剪枝，降低推理成本
  • 持续学习：根据用户反馈进行在线微调

预训练：从零到基础模型

为什么需要预训练？

预训练是为了让模型在见到特定任务数据之前，先通过学习大量通用数据来捕获广泛有用的特征，熟悉语言的工作方式，从而提升模型在目标任务上的表现和泛化能力。

预训练技术通过从大规模未标记数据中学习通用特征和先验知识，减少对标记数据的依赖，加速并优化在有限数据集上的模型训练。

为什么要用大量未标记数据？

数据稀缺性：在现实应用中，收集并标注大量数据往往耗时且昂贵。预训练使模型能够从未标记的大规模数据中学习通用特征，从而在有限数据集上也能训练出性能良好的模型。

先验知识问题：模型通常从随机初始化的参数开始学习。预训练模型通过在大规模数据集上训练，已学习到许多先验知识（如语法规则、视觉底层特征），为新任务学习提供有力支撑。

预训练执行步骤

步骤一：数据收集与预处理

训练 LLM 的第一步是收集尽可能多的高质量文本数据，目标是创建一个庞大且多样化的数据集，涵盖广泛的人类知识。

步骤二：分词（Tokenization）

文本必须转换为数值形式才能被神经网络处理。分词将单词、子词或字符映射为唯一的数值 token——这是构建语言模型的基本单元。在 GPT-4 中，可能的 token 数量为 100277 个。常用工具如 Tiktokenizer 可用于分词实验。

步骤三：神经网络训练

分词后，神经网络学习根据上下文预测下一个 token。模型接收输入 token 序列，通过模型架构（如 Transformer）进行处理，以预测下一个 token。

预训练的产物：基础模型

基础模型在这一阶段已学会：

  • 单词、短语和句子之间的关联
  • 训练数据中的统计模式

然而，基础模型 并未针对真实世界任务进行优化 。它本质上是一个高级自动补全系统——能够基于概率预测下一个 token，但缺乏良好的指令跟随能力。基础模型有时会逐字复述训练数据，可通过上下文学习（In-Context Learning）进行特定应用，但为了让模型真正有用可靠，还需要进一步训练。

后训练：从模型到产品

基础模型是未经打磨的。为了让它更加实用、可靠、安全，需要进行 后训练（Post-Training） ——即在更小、更专业的数据集上进行微调。

微调：让模型适配具体任务

为什么需要微调？

尽管预训练模型已学到丰富通用特征，但这些特征可能并不完全适用于特定目标任务。微调通过在新任务的少量标注数据上进一步训练，使模型学习与目标任务相关的特定特征和规律。

微调的核心价值：

  1. 更好地利用预训练模型的知识，加速新任务训练
  2. 减少对新数据的需求——在小数据集上获得更好性能
  3. 降低训练成本——只需调整部分参数，而非从头训练
  4. 通过带标注的数据集"编程"神经网络

强化学习（RL）：让模型从经验中学习

RL 的目的是什么？

人类和 LLM 处理信息的方式不同。对人类直观的事（如基本算术），对 LLM 而言只是 token 序列；反之，LLM 能在复杂主题上生成专家级回答，仅因见过足够多示例。这种认知差异使人类注释者难以提供一组"完美"标签来持续引导 LLM。

RL 弥补了这一差距——它允许模型从自身经验中学习，探索不同 token 序列，并根据哪些输出最有用来获得反馈（奖励信号）。

RL 的本质

LLM 是随机的——相同提示的输出也会不同，因为它是从概率分布中采样的。利用这种随机性，可并行生成成千上万甚至数百万个可能响应，让模型探索不同路径。模型在导致更好结果的 token 序列上训练，每个训练步骤后更新参数。

与监督微调不同——后者依赖人类专家提供标签数据—— 强化学习允许模型从自身学习中进步 。

RLHF：引入人类偏好

定义：RLHF（Reinforcement Learning with Human Feedback）是在 SFT 的基础上，通过强化学习和人类反馈来进一步微调模型，使其输出更加符合人类的偏好或期望。

步骤：SFT → 收集人类反馈数据 → 训练奖励模型 → 使用奖励模型指导强化学习微调模型。

应用场景：适用于需要高度人类判断或创造力的任务，如对话生成、文本摘要。对于具有可验证输出的任务（如数学问题），AI 回答可轻松评估；但对于总结或创意写作等没有单一"正确"答案的领域，人工反馈的作用不可或缺。

RLHF 与 Transformer 的协同工作

RLHF/RL 微调技术与 Transformer 的协作可分为三个阶段：

第一步：预训练与监督微调（Transformer 主导）

  • 目标：训练具备基础语言能力的 Transformer 模型
  • 无监督预训练：输入大规模未标注文本，输出预训练模型（如 GPT-3、Llama），通过预测下一个词的概率分布完成自监督学习
  • 技术分工：Transformer 架构通过自注意力机制捕捉长距离依赖关系
  • 监督微调（SFT）：输入人工标注的 <提示，理想回答> 对数据集，通过交叉熵损失函数调整参数

第二步：奖励模型训练（RLHF 主导，基于 Transformer）

  • 目标：构建量化人类偏好的奖励模型（Reward Model, RM）
  • 数据收集：通过 SFT 模型生成多个候选回答，人工对回答质量进行排序或评分
  • 模型构建：基于 SFT 模型架构，替换最后一层为回归层（输出标量奖励）
  • 训练目标：最小化人类偏好排序的负对数似然损失
  • 技术分工：Transformer 作为特征提取器，RM 通过强化学习框架学习人类偏好模式

第三步：RLHF 强化学习优化（RL 主导，结合 Transformer）

  • 目标：通过奖励信号优化策略模型，使其生成更符合人类偏好的文本
  • 策略初始化：SFT 模型作为初始策略（Actor）
  • 生成响应：用户提示输入，生成多个候选回答（由 Transformer 完成）
  • 奖励计算：候选回答通过 RM 生成奖励分数
  • 策略优化（PPO）：输入奖励分数 + KL 散度约束（防止偏离 SFT 模型太远），输出更新后的策略模型参数
  • 技术流程：Actor（策略模型）基于 Transformer 生成回答；Critic（价值函数）预测预期累积奖励；通过 GAE 平衡偏差与方差；参数更新最大化奖励的同时约束策略变化幅度（PPO-Clip 算法）

推理：模型如何生成文本

推理（Inference）可以在任何阶段进行，甚至可以在预训练中途执行，以评估模型的学习效果。

当模型接收到一组输入 token 后，它会根据在训练过程中学到的模式，为所有可能的下一个 token 分配概率。

但模型并非总是选择最可能的 token，而是会在概率分布中进行采样——类似于抛掷一个带偏向的硬币，其中高概率的 token 更有可能被选中。

这个过程会迭代进行，每个新生成的 token 都会成为下一次预测的输入。

由于 token 选择是随机的，即使相同的输入也可能产生不同的输出。随着推理的进行，模型可以生成并未直接出现在训练数据中、但符合统计模式的文本。

待解局限

  1. 计算成本高昂。预训练阶段是"极其计算密集的任务"，需要 GPU/TPU 集群和海量数据支持，对中小型团队构成显著门槛。

  2. RL 训练的复杂性。"如何确定哪些响应是最好的？我们应该进行多少 RL 训练？这些细节是很复杂的，要做到精准并不简单"。RL 的训练策略和超参数调优仍是开放问题。

  3. 人工反馈的可扩展性。对于创意写作等没有单一正确答案的任务，人工反馈不可或缺，但"天真的强化学习方法是不可扩展的"。

  4. 基础模型的固有局限。基础模型本质上是"高级自动补全系统"，可能逐字复述训练数据，缺乏真正的理解和推理能力——后训练能在多大程度上克服这一局限，仍取决于具体任务和训练策略。

总结

大模型的训练是一个 多阶段递进 的过程：从 预训练 的海量无监督学习建立通用知识底座，到 微调 的垂直领域适配，再到 RL/RLHF 的动态自学习与人类偏好对齐，最终通过 推理 阶段将训练成果转化为可交互的生成能力。

这一流程的核心洞察在于： 大模型的能力不是"一蹴而就"的，而是通过不同阶段的训练策略逐步塑造的 ——预训练解决"会说"的问题，微调解决"说对"的问题，RL/RLHF 解决"说好"的问题。三个环节缺一不可，共同构成了从"知识复读机"到"具备自主决策能力的认知体"的进化路径。

Further reading: Design Insights · Research Review · Processor · Designer

本文基于中国民航大学网信办转载的技术科普文章整理而成，旨在系统梳理大模型训练全流程。