Interview Q&A

数值稳定的 Softmax，减去最大值防止溢出。

1. 计算 $QK^T$ 是 $(n \times d_k) \cdot (d_k \times n)$ 的矩阵乘法，计算 $QK^T$ 的每个元素 $A_{ij}$ 需要 $A_{ij}=Q_i\cdot K_j$ 进行点积，所以 $n^2$ 个元素每个 $d_k$ 次计算，一共 $O(n^2d_k)$
2. softmax 操作 $O(n^2)$
3. 计算 $AV$ 是 $(n \times n)(n \times d_v)$ 的矩阵乘法，一共 $O(n^2d_v)$
4. 合计 $O(n^2 d)$

1. 混合精度 BF16/FP16
2. Sparse Attention：限制每个 token 只关注部分 token
3. Flash Attention：前向传播时候没有保存中间激活值，在反向传播时候重新计算

1. FlashAttention：注意力计算的时间复杂度依然是 $O(n^2d)$，但是它通过分块读取和 online softmax 降低了显存访问开销，把显存访问复杂度从 $O(n^2)$ 降到了 $O(nd)$。
2. KVCache：在生成下一个 token 时，只需要计算当前 token 的 query、key、value。之前的 key/value 被缓存，直接拼接使用，避免重复计算整个历史序列的 attention，从而提高推理阶段的速度。
3. MQA/GQA：减少 K 和 V 矩阵注意力头，减小计算量。

• 每条数据的长度不相同，在 batch 维度计算均值和方差不稳定。
• batch 大小不够大，显存有限情况下 micro_batch 可能为 1。
• 训练和推理的 batch_size 可能不同。

对 Post-Norm 求关于 $x_l$​ 的梯度，由链式法则：

梯度回传时候必须经过 LayerNorm 的缩放，对于深层的注意力网络，梯度容易消失或者爆炸。而对 Pre-Norm 求梯度则有：

可以看到第一项是直连梯度，不经过任何 LayerNorm，梯度不会消失。

LLM 里面的梯度裁剪一般是按照 L2 范数 进行裁剪，从而解决梯度爆炸的问题。假设梯度向量为 $g=(g_1,g_2,\dots,g_n)$，我们计算得到 L2 范数：$\|g\|=\sqrt{\sum_i g_i^2}$。假设 L2 范数超过了设定的阈值 $\|g\| > c$ 那么就对他进行裁剪。

loss.backward()

torch.nn.utils.clip_grad_norm_(
    model.parameters(),
    max_norm=1.0
)

optimizer.step()

学习率调整的核心是前后期稳定，中期探索。

1. 初期模型的参数随机，太大学习率可能导致梯度爆炸，所以一般用 warmup 让学习率逐步提高。
2. 后期模型已经趋于稳定，所以不希望太大学习率导致先前学习的内容被覆盖，可以采用余弦退火算法。
3. 一般 sft 预训练时候的学习率相对较大，设置在 2e-5 这样可以快速收敛。在后训练或者对某个方向微调时候，学习率一般比较小在 1e-6 或者更小，避免灾难性遗忘。

1. LLM 本身参数量就很大，基本不会出现过拟合的问题。
2. dropout 会破坏数据的一致性，影响模型训练的稳定性。

1. ReLU 是硬阈值，如果某个神经元长时间 $x<0$ 没有得到梯度，那么它基本废掉了。
2. GeLU 是平滑的 ReLU，训练更稳定一些，但是计算了比 ReLU 大。
3. SwiGLU 是门控版的 GeLU，它可以控制哪些特征保留，哪些特征抑制。SwiGLU 的非线性表达能力最强，同时可以提高表达能力。

如图可以发现，反向传播必须用到前向传播中产生的中间激活值。梯度检查点的核心思路是 以计算换显存：前向传播时只保留少量"检查点"激活，其余激活用完即丢。反向传播需要某个激活时，从最近的检查点重新跑一次局部前向来复原它。

1. $r$ 越大，增量权重的表示能力越强，可以拟合更多特定任务。
2. $\alpha$ 是 LoRA scaling，控制增量权重在 forward 中的幅度。
3. 一般小参数模型的 rank 在 8~16，然后控制缩放系数 $\alpha / r$ 在 1~4 的范围，视任务而定。

一般是对 $A$ 矩阵应用 kaiming 初始化，对 $B$ 矩阵置为 0：

1. 首先 $A$ 和 $B$ 矩阵需要至少有一个为零矩阵，这样 LoRA 一开始更新时 $\Delta W = B A$ 接近于零矩阵，就不会破坏预训练权重。
2. 其次 $A$ 和 $B$ 矩阵不能全部为零矩阵，要不然计算出来它们的梯度都是 0，没法更新参数
3. 而在前向传播中，低秩更新实际走的路径是：x → A → (scale) → B，也就是说反向传播时是从矩阵 $B$ 到矩阵 $A$。假如矩阵 $A$ 为零矩阵，那么矩阵 $B$ 的梯度为 0，训练就会先更新矩阵 $A$，$A$ 更新的数值尺度就会收到 $B$ 的初始化分布影响，容易放大早期更新的尺度。如果初始化矩阵 $B$ 为零矩阵，那么会先更新矩阵 $B$，把 $B$ 从零矩阵拉开，再更新 $A$，训练更稳定。

1. attention mask 负责的只是 PAD token，在计算注意力的时候不注意到 PAD token。
2. causal mask 负责的是因果掩码，让每个 token 不注意到之后的 token，应用时候需要和 attention mask 取 & 然后 apply。
3. loss mask 控制的是哪些 token 应该参与计算损失，比如 PAD token，sft 中 prompt 部分的 token，或者 agentic rollout 时候检索的部分。

• 只训练最后一轮 assistant 会导致上下文利用变差：模型更依赖最后一轮信息。
• 对每一轮 assistant 都训练会导致回答更顺但更爱跑题，还会把旧回答当输出习惯。

解决方案有两种：

1. 把多轮对话拆为多个样本进行训练，然后每个样本只训练最后一轮 assistant，并且要把多个样本分散在不同 batch。
2. 对每一轮 assistant 都训练，但是加权。

在去年的一篇文章里我详细介绍了 packing 和 padding 的区别，简单来说 packing 就是把多条文本拼到一个 sequence 里，padding 就是一条数据一个 sequence，很明显 packing 可以减少 pad token 带来的无意义计算量，那该怎么选择的？

结论是不管是 pt 还是 sft 都可以用 packing 策略来对齐，需要注意的是：

1. 不同数据放在同一个 sequence 里面，如果用传统的 causal_mask，seq_2 可以注意到 seq_1 的 token。需要用分块的 causal mask 和用 eos token 分割不同句子。
2. 如果 packing 导致一个 sample 被截断，那么在下一个 block 的后半部分 sample 计算 attention 时候就看不到上文信息了。

next-token prediction 本质是"背书"——即使数据是乱码，loss 也应持平或缓慢下降，持续上升说明存在以下问题：

1. 训练代码 bug：梯度反传、优化器、学习率调度等逻辑错误
2. 数据格式错误：labels shift 错位、chat template 有问题、eos 错位、prompt 没有 mask、packing mask 错误
3. 学习率过大：loss 震荡或发散，需降低 lr 或检查 warmup

• 小模型先验知识较少，初始的 loss 相对更大，在 1.82.5。大模型一般在 11.8。
• loss 过高说明数据太难没有相关知识，ntp 预测的很随机。loss 过低说明没有新学习的知识，和 pretrain 的分布接近。
• 对于不同领域数据 sft 的 loss 范围也不同，开放性问题相较于检索性问题 loss 就更高。

<|im_start|> 等 special token 的 loss 应该先高后快速下降。这些 special token 是 sft 后 chat template 带来的，一开始模型并不熟悉所以预测这些 token 的概率非常低，但随着训练模型就知道了 <|im_start|>user 后面跟的是 prompt， <|im_start|>assistant 后面跟的是 response。

假如 special token 的 loss 下降很慢可能是：

1. special token 设置有问题，tokenizer 没有把 special token 当成单个 token
2. chat template 的问题

1. 多任务学习：直接混合不同数据源，简单有效，但无法针对专业任务精细控制
2. 顺序训练：依次在每个数据集上 SFT，灵活，但容易发生灾难性遗忘
3. 混合序列训练：先在专业数据集上多任务学习，再在通用数据集上 SFT，兼顾专业与通用
4. 双阶段混合微调 DMT：第一阶段专业数据 SFT，第二阶段混合少量专业数据防止遗忘，综合效果最佳
5. 渐进式混合：初期 100% 专业 → 中期 50/50 → 后期 10% 专业+90% 通用，像课程学习逐步过渡

1. 混合加训优点是保留原始能力+均衡的吸收新知识，缺点是混合了通用和专业数据集，训练数据量大。
2. cpt 优点是训练速度快，显著偏向新数据，缺点是容易出现灾难性遗忘。

其实都选混合加训。

假设我们有一组真实世界的数据集 $D = \{x_1, x_2, \dots, x_N\}$，那么根据经验分布可以得到：

然后我们进一步拆解 KL 散度，可以得到：

因为后半部分信息熵 $\sum_{x} P(x) \log P(x)$ 完全由已知的数据集决定，里面没有模型的参数 $\theta$。所以在对 $\theta$ 求极小化的时候，这一项可以直接当作常数无视掉。因此，我们得到了第一个等价关系：最小化 KL 散度在优化过程中等价于最小化交叉熵

然后我们把经验分布代入：

$$ \begin{align}

• \sum_{x} P_{data}(x) \log P_{\theta}(x) &= - \sum_{x} \left( \frac{1}{N} \sum_{i=1}^N \mathbb{I}(x = x_i) \right) \log P_{\theta}(x) \ &= - \frac{1}{N} \sum_{i=1}^N \left( \sum_{x} \mathbb{I}(x = x_i) \log P_{\theta}(x) \right) \ &= - \frac{1}{N} \sum_{i=1}^N \log P_{\theta}(x_i) \end{align} $$

因此可以发现：最大似然估计本质上等价于最小化数据的经验分布与模型分布之间的 KL 散度

首先我认为模型的能力边界取决于 **模型的知识覆盖**，所以这部分能力一般只能由 pretraining 来提高。而 RL 做的事情是 **优化搜索策略**，以 passk 测试举例。RL 训练后 pass@1 提高但 pass@k 而不如 base model，说明 RL 更像是把 base model 已经"内含"的能力提取/放大出来，让高概率路径更容易被采样到，而不是让模型学会全新的推理模式——本质是**分布 sharpening**，而非能力扩展。

• 数据/任务规模化：扩大 prompt 多样性和难度覆盖，类似预训练的 scaling law 思路，但 RL 数据构造成本更高,需要 verifier/reward model 配合
• Rollout 规模化“：增大每个 prompt 的采样数，更多样本才能估计出更准的 advantage，同时增加发现稀有正确路径的概率
• 计算基础设施 scaling：多机多卡分布式训练，async rollout 生成和训练解耦，避免同步等待浪费算力
• 课程学习：从简单任务逐步过渡到难任务，避免 reward 过于稀疏导致训练早期完全学不到东西
• Reward 设计的可扩展性：从单一 ORM 扩展到 PRM，或结合 rule-based verifier + reward model 混合，让 reward 信号能覆盖更复杂任务

主流观点认为：推理能力的"种子"在预训练阶段就已经存在，后续阶段是激发/强化，而非从零创造：

• 预训练阶段：海量文本中天然包含大量推理模式（数学证明、代码逻辑、因果论证等），模型通过 ntp 隐式学到了这些模式的统计规律，这是推理能力的知识基础
• SFT 阶段：通过高质量 CoT 数据，让模型学会"以推理链的形式组织输出"这个行为模式——即让模型知道"应该这样表达推理过程"，更多是格式/习惯层面的教学
• RL 阶段(如 GRPO/PPO)：通过 reward 信号强化那些能导向正确答案的推理路径,抑制错误路径的概率

拒绝采样和重要性采样一样，都是"用一个分布的样本去处理另一个分布"的技术，核心动机都是目标分布难以直接采样/优化。在 LLM RL 里都用于处理 off-policy 问题，即用旧策略生成的数据，来服务新策略。

• Importance Sampling 是给每个样本一个连续权重 $w=\frac{p(x)}{q(x)}$，样本全部保留只是加权，一般用于梯度估计的无偏修正
• Rejection Sampling 根据一定概率接受或者拒绝样本，拒绝的样本直接丢弃，不参与后续计算，拒绝的样本白白生成了，浪费算力。一般用于数据构造/筛选,产出的是干净数据集，再喂给标准 SFT/RL。

假设你想让一个 LLM 更擅长解数学题，可以拿一批带标准答案的数学题 {$\{(q_i, a_i^*)\}$​，$a_i^*$ 是已知的正确答案。对每道题 $q_i$​,用当前 LLM以较高 temperature采样 $N$ 个候选解答，然后用 rm 或者规则验证器等方式 接受/拒绝，最后用过滤后的干净数据做标准 SFT。

rejection sampling 的本质是通过 SFT loss 在筛选出的正确样本上做梯度下降，直接提高 $\pi_\theta$ 对这些正确解答序列的似然，重塑模型的输出分布，让它更集中在正确答案(以及正确的推理路径)上。

我们在强化学习里的终极目标，是让动作带来的期望回报最高，也就是说我们希望最大化：

策略梯度定理告诉我们，这个目标函数的梯度可以写成:

为了减小估计的方差，在实践中我们通常用优势函数 $A^{\pi_\theta}(s,a)$ 代替状态动作价值函数 $Q(s,a)$，这不会改变梯度的期望值。于是梯度写为

注意上式的期望是在当前策略 $\pi_\theta$ 下取的，advantage 也是 $\pi_\theta$​ 下的 $A^{\pi_\theta}$​。但我们实际拥有的 rollout 数据是用 $\pi_{old}$​ 采样、用 $\pi_{old}$​ 算出来的 $A^{\pi_{old}}$​，所以需要做重要性采样把分布换到 $\pi_{old}$:

这里是一个近似而非严格等式——只有在 $\pi_\theta$ 与 $\pi_{old}$​ 足够接近时，用 $\pi_{old}$ 下采样的轨迹和 $A^{\pi_{old}}$​ 去估计 $\pi_\theta$ 下的真实梯度才是可靠的。这一点很重要,它正是 PPO 后续引入 clip 机制的根本原因:clip 通过限制 $\pi_\theta/\pi_{old}$ 的比值范围,把更新约束在这个近似成立的"信任区域"内,防止单次更新让 $\pi_\theta$​ 跑得离 $\pi_{old}$ 太远导致上式近似失效。

那么我们找到一个函数 $L(\theta)$，只要使得 $\nabla_\theta L(\theta)$ 恰好等于上面这个式子，对 $L(\theta)$ 进行梯度上升（或者说对 $-L(\theta)$ 进行梯度下降）就等价于对 $J(\theta)$ 进行梯度上升，让 $J(\theta)$ 变大，也就是我们强化学习的优化目标：

这就是 PPO 的 surrogate loss，再加上 clip 操作来约束信任区间，就构成了完整的 PPO 目标函数。

• PPO 的 reward 要能对每个 token 或每个 response 给出相对精确的分值，用于计算 advantage。对 reward 的绝对值和方差都比较敏感。
• DPO 的 reward 只需要能区分好坏（排序能力），是 point-wise 打分后做比较，不需要特别精确的绝对值，容忍度更高。

• 在 PPO 训练中，critic model 用来估计 baseline，计算advantage = reward - value，减少policy gradient的方差，训练更稳定。没有好的critic，PPO的训练信号噪声很大。
• GRPO 等方法用组内 reward 均值做 baseline，避免了单独训练critic的成本，同时在reasoning任务上效果接近甚至更好。

1. KL 散度：太大可能存在 reward hacking 风险，太小可能没有充分更新
2. policy loss/critic loss
3. entropy：出现 collapse 多样性消失，reward hacking

1. auc：chosen > rejected 的 排序准确率
2. chosen 和 rejected 的 reward margin：margin 大说明很自信
3. ood：RM 在没见过的分布上的表现
4. reward distribution：reward 方差是不是太大或者太小，太大容易训练不稳定，太小缺乏梯度信号。

1. 标注数据不足与偏差：如果偏好数据主要来自单一群体或话题，模型在其他领域的表现会较差，甚至带有该群体的主观偏见。奖励模型可能过度偏好训练集中常见的回答风格（如过度详细或倾向某种语气）。例如医疗助手训练后，reward model 对长回复都评为高分，导致 PPO 之后容易长篇大论。解决方案是：扩充多样化数据、在训练时加入字数正则项。
2. 过拟合泛化能力差：过拟合往往由数据匮乏和模型容量过高共同导致。大模型微调出的奖励模型有能力记忆训练集中偏好对比的细节，当标注数据有限或包含噪声时，模型可能学习到伪相关特征（如特定词频、长度等）作为判断依据，削弱了真正偏好信号的泛化。解决方案是：正则化、根据验证集曲线早停、缩小模型参数。
3. reward hacking：解决方案是 设计对抗样本加入训练、KL 散度限制模型差异，设计针对性的正则项例如长度正则。
4. 正负样本 margin 小：缺乏 hard negative sample。
5. 分布偏移：RLHF 模型在奖励模型的打分中表现极佳，但人工质检觉得输出空洞或跑偏，未真正提升体验。解决方案是：加大 KL 损失权重、定期迭代映入新样本修正偏差、拆分多个目标奖励。例如客服模型很礼貌但是专业性很差，把回复正确率和礼物拆为两个 reward model 加权组合。

DPO 的损失函数为：

实际上，从上式可以看出，要让总的 loss 下降，优化偏好数据对的概率有多种情况，比如偏好-非偏好答案概率都下降/都上升，偏好答案概率上升-非偏好答案概率下降等，所以在 loss 下降的情况下，不一定是偏好答案概率上升-非偏好答案概率下降导致的，还可能是二者的概率都下降的情况。其次 Bradly-Terry 模型本身就存在优化不确定的问题，它只关心两个对象谁好谁坏。所以一般情况下 DPO 训练都更关心 chosen reward 和 rejected reward 的 margin。

单纯的关心 reward margin 也存在一个问题，概率是守恒的，margin 只盯着两个点，没管剩下的概率质量去哪了。$\pi_\theta(\cdot|x)$ 是整个输出空间上的一个分布，总和恒为 1。如果 $\pi_\theta(y_w|x)$ 被大幅压低，这部分概率质量必然要流向分布里的某个地方——DPO 的 loss 完全没有约束这部分质量流向哪里，它只比较了 $y_w$ 和 $y_l$​ 这两个特定的点。Princeton 那篇研究 “likelihood displacement” 的论文把这个现象的后果讲得很直白：这种 displacement 可能是灾难性的，会把概率质量从 preferred response 转移到含义完全相反的 response 上去——比如训练模型偏好"No"而不是"Never"，结果反而大幅推高了"Yes"的概率。

DPO-P 的做法是在 loss 里面加一个 chosen response 的 sft 损失项。给 chosen 的绝对似然加一个锚，不让它相对reference model掉太多，这样不管 margin 怎么变化，chosen 本身的概率底线是被保护的，displacement 没有空间发生。

原因：

1. 从隐式奖励来看，DPO 的隐式奖励为 $r=\beta\log{\frac{\pi}{\pi_{ref}}}=\beta \sum_{t=1}^{|y|}[\log{\pi_{ref}(y_t|x,y_{<t})} - \log{\pi_\theta(y_t|x,y_{<t})}]$。可以看到这个奖励是逐 token 对 log-ratio 求和，也就是说当 $|y_w| > |y_l|$ 时，即使每个 token 的 log-ratio 差异很小，累计效应也会让 $r_\theta(x,y_w)$ 系统性大于 $r_\theta(x,y_l)$。
2. 相比于上面来自 DPO 算法建模的固有偏差，训练数据中存在长度偏置也是造成 DPO 长度偏移的又一个原因。这种偏置源于 rm 固有的长度偏好，导致大多数偏好回复显著长于不偏好的回复。在统计数据中，不管是人工标注还是 GPT-4 标注都偏爱长回复。

解决方案有两种：

第一个是 SimPO。它去掉了 ref model，并且用长度归一化的平均 log-likelihood 作为隐式奖励：$r(x,y)=\frac{\beta}{|y|}\log{\pi_\theta(y,x)=\frac{\beta}{|y|}\sum_{t=1}^{|y|}\log{\pi_\theta(y_t|x, y_{<t})}}$。代入得到 SimPO 的损失函数为：

1. 除以 $|y|$ 对 token 的 log-ratio 进行归一化，消除了 DPO 的长度偏置。
2. 减去了 reward margin $\gamma$，强制要求 chosen 和 rejected 有一定区分度。

第二个方案是类似 R-DPO 的方法，加入长度差惩罚：

R-DPO 通过 logit 偏置改变样本的梯度权重，降低长 chosen 样本梯度/提高短 chosen 样本梯度。

长度差惩罚加在 loss 里面求导之后不会之间消去吗，为什么可以对梯度有影响？ 因为 length margin penalty 在 $\log\sigma(\cdot)$ 里面，所以对 $L=-\log\sigma(z)$ 求导之后 $\nabla_\theta L=(\sigma(z)-1)\nabla_\theta z$ 会受到影响。

第三个方案就是偏好数据建模的时候对长度去偏（De-Bias），其中可能涉及到多模型投票、Prompt Engineering等多种方法等混合。类似的方法：

• LIFT-DPO 将长度约束指令融入通用指令数据集，并拒绝超出指定长度限制的 chosen 回复。
• SamPO 从 chosen 和 rejected 的 token 中按相同数量随机下采样，确保参与梯度计算的 token 数相等。

1. 数学/代码/SQL/tool call：这些可验证结果的场景可以用 rule-based reward
2. 通用对话：reward model 打分
3. 长 CoT：ORM + PRM
4. 安全对其：多 reward 加权

1. 可以降低梯度估计的方差
   • 如果直接用原始奖励值 $r_i$ 代替 $A_i$，因为 $r_i$ 通常永远是正数，这会导致策略梯度的方差极大，模型训练极不稳定，甚至不收敛。
   • 减去一个与当前 Action 无关的 Baseline，在数学上完全不改变梯度的期望值，但能显著降低方差。
2. 从绝对好坏变成相对优势，和 PPO 的 advantage 减去 critic model 预估的 value 一样。

策略梯度的更新公式为 $g = \frac{1}{N} \sum_{i=1}^N \nabla_\theta \log \pi_\theta(a_i|s) \cdot r_i$，如果所有 $r_i$ 都是很大的正数，梯度更新会尝试把这组采样里的所有动作的概率都往上推。 但是，概率的总和永远只能是 $1$，这就会导致模型的参数空间发生剧烈的改变：所有的梯度向量都指向相同的正方向，彼此严重抵消，只有微弱的相对分量在起作用。

1. 强化学习不同任务的 reward 定义不同，奖励的尺度也不相同。有的 $[-3,3]$ 有的 $[0,1]$，如果不除以 std，advantage 的绝对大小会完全受制于 reward 的尺度。
2. 大模型在训练的不同阶段，组内得分的分布是动态变化的。训练后期当模型收敛，生成的回答都非常好，分差极小，如果不除 std 的话 advantage 只有 $\pm 0.001$，梯度接近于 0，模型就会停止进化。

1. GRPO 用组内相对优势替代了 PPO critic model 的细粒度 reward，如果直接把 KL 加在 GRPO 的 advantage 上会导致语义出现变化，例如某个 response 的优势的 $0.2$ 加上 KL 之后优势变成 $-0.3$ 了。而 PPO 的 critic model 要同时学会预测"未来还能拿到多少任务reward"和"未来还要扣多少KL惩罚"，它预测的 value 已经是考虑 KL 以后的数值了，不存在这个问题。
2. 在 PPO 中 KL 加在 token level 的 reward 上。因为有 critic 网络通过贝尔曼方程在时间步上进行前向递推，模型能够通过 GAE 明确知道是哪一个特定的 Token 导致了过大的 KL 漂移。而 GRPO 如果粗暴地将全序列 kl 累加到 seq-level reward 中，无法引导模型去学习序列内部的 token level 的演变关系。

GRPO 在 loss 中加入了 KL 当做正则项，目的是：

• 防止 policy 偏离 reference model 太远，避免 reward hacking
• 保持语言流畅性（ref model是SFT后的模型，有基本语言能力）
• 正则化作用，稳定训练

但是 DAPO 和 GSPO 认为：

• DAPO：认为 token-level KL 惩罚会抑制模型生成长链 CoT 的能力，导致模型倾向于生成短 response 以减小 KL，去掉后模型能更自由地探索长推理链，用 clip+entropy bonus 代替 KL 约束。
• GSPO：从理论上证明group-level的约束比token-level KL更合理。

• RL Training
  1. 提高 temperature 增加采样的多样性
  2. topP/topK 增加采样多样性
  3. Entropy bonus：在 loss 项里面加 token-mean 的熵当做正则项 $\beta H(\pi)$
• Test-time Scaling
  1. Best-of-N：采样N个response，用verifier选最优
  2. Beam Search：维护多条候选链，逐步扩展
  3. Sequential revision：让模型自我反思和修正（Reflection）

1. DAPO 的解决方案 clip-higher。熵崩塌主要源于：在 $r_{t} \left(\right. \theta \left.\right) > 1 + \epsilon$ 的情况下，旧策略的概率本来就不高，还限制了更新幅度的上限，抑制了低概率 token 的增长。Clip-Higher 采用非对称裁剪机制，解耦上下裁剪的范围：上裁剪阈值 $\epsilon_{h i g h} = 0.28$：放宽低概率Token的探索限制。下裁剪阈值 $\epsilon_{l o w} = 0.2$：抑制高概率Token的过度利用。
2. 适当降低 KL 的系数 $\beta$，允许模型单次更新变化更大一些。
3. Entropy bonus：在 loss 项里面加 token-mean 的熵当做正则项 $\beta H(\pi)$
4. 动态 rollout 温度：随训练收敛提高采样温度，防止采样分布过于尖锐。

相比 SFT：

• SFT 用 forward KL，是 mode-covering，容易学到"平均化"的行为，且完全依赖静态数据集，存在 exposure bias，训练时用 teacher forcing，推理时自回归生成，分布不一致。
• OPD 是 on-policy 采样（用学生模型自己的 rollout），用 teacher 模型的 logprobs 作为监督信号，直接优化 reverse KL 或类似目标，让学生在自己会犯错的地方接受矫正，而不是在教师的静态轨迹上模仿。

相比传统 RL：

• 传统 RL 依赖 reward model 或 rule-based verifier 提供稀疏信号
• OPD 用 teacher 模型提供每个 token 位置的密集监督信号，不需要设计复杂 reward，梯度信号更稠密，训练更稳定，样本效率更高

以 ZeRO-3 举例，在前向传播时候：

• 当前 layer 的参数被切分在 $N$ 块卡上，每块卡只持有 $\frac{1}{N}$​ 的参数
• 执行 AllGather：每块卡把自己持有的参数 shard 广播给所有其他卡
• 所有卡拼到完整参数后执行前向计算
• 计算完成后立刻丢弃刚才 gather 来的参数

然后反向传播时候：

• 执行 AllGather：每块卡把自己持有的参数 shard 广播给所有其他卡
• 所有卡分别进行反向传播，计算对应参数 shard 的梯度
• 所有卡 Reduce Scatter，这样每个 GPU 就能得到对应 shard 的完整梯度
• 每个 GPU 更新自己对应的那部分参数 shard

Ring-AllReduce分两个阶段：

N=4时，每块卡总发送量 = $\frac{3}{2}x$，4块卡总通信量 = $4 \times \frac{3}{2}x = 6x$。

RL rollout 中的长尾问题指的是，推理时候不同样本的 response 长度可能差异很大，这会导致有些样本很早结束但由于需要等待长序列，一直输出 eos_token 空转浪费 GPU 资源。

• Async rollout：rollout 和 training 解耦成独立的 worker，生成快的样本不用等慢的，持续填充训练队列
• 长度惩罚/截断策略：设置最大长度上限,超长序列强制截断或给予长度惩罚
• 动态 batch 调度：按预估长度把 sample 放到不同 bucket 里，把长度相近的样本分到同一 batch，减少组内方差
• Force-end 机制：对多轮 agentic rollout 设置最大轮数强制结束，避免个别样本无限循环拖慢整体

1. off-policy 问题：如果生成阶段用的策略和训练阶段实际更新的参数出现版本差异（生成时用的是几步之前的旧参数），就引入了 off-policy 偏差，需要 importance sampling ratio 做矫正。
2. 同步开销：例如 GRPO 需要在组内都 rollout 结束才能算 advantage，而 continuous batching 恰恰是希望不同请求独立异步完成。这两者存在天然张力，需要额外的 group-level barrier 同步。
3. 显存管理复杂度：continuous batching 依赖 KV cache 的动态分配，训练阶段还需要额外保存 log-prob、activation 用于反向传播，显存压力比纯推理场景更大。

1. Embedding 层：token embedding 的参数量是 vocab_size * hidden_size，position embedding 现在一般都是 RoPE 或者变体，非可学习位置编码参数量都是零。
2. Transformer Block：单层 transformer block 包含一个 MHA（或者 MQA 或者 GQA），和一个 FFN 还有一个 LayerNorm。
   • 注意力机制包括四个注意力矩阵，参数量是 4*hidden_size^2，如果采用 MQA 或者 GQA 它的参数量是 2*hidden_size*^2 + 2*hidden_size * num_kv_heads*head_dim。
   • 前馈神经网络 SwigLU FFN 包括 gate/up/down 三个矩阵，参数量是 3*hidden_size*ffn_dim。中间维度一般取 ffn_dim=8*hidden_size/3，所以参数量约等于 8*hidden_size^2
   • RMSNorm 的参数量可以忽略不计
3. LM_Head：就是反向 token embedding，参数量也是 vocab_size * hidden_size
4. 总参数量约为 2*hidden_size*vocab_size + 12*hidden_size^2

推理需要的显存包含两部分，模型权重和 KVCache 两部分：

1. 模型权重占用的显存取决于参数量和数据类型，以 FP16 为例就是 参数量 * 2B
2. KVCache 的显存量为 2*batch_size*num_layers*seq_len*(num_kv_heads*head_dim)*2B

训练显存大致分为以下四部分：

1. 模型权重：取决于存储的精度，常见的 BF16 和 FP16 占用大小为 2B
2. 梯度：反向传播计算的梯度，和权重一样常见情况下占用 2B
3. 优化器状态：常见的 Adam 会为每个参数都保存它的 Momentum、Variance 和 Master weights，精度为 FP32 所以总计 12B
4. 中间激活值：简单来说就是为了计算反向传播的梯度，需要把前向计算的中间值存储起来，具体计算见下文。

合计起来，显存占用的经验公式为：$\text{VRAM}_{t r a i n} \approx 20 \times N \left(\right. B y t e s \left.\right)$

LoRA 和全参训练相比，它冻结原模型权重，只训练低秩矩阵A、B。

• 模型权重：前向传播要用不能节省，还是 总参数量 * 2B
• 梯度：LoRA 参数量 * 2B
• 优化器状态：LoRA 参数量 * 12B
• 激活值：和全参一样

SFT：就一个 policy model，等同于普通全参/LoRA训练

PPO：

• actor model 需要权重、梯度、激活值、优化器状态
• critic model 需要权重、梯度、激活值、优化器状态
• reference model 仅仅推理得到 logprobs，所以只需要权重
• reward model 只需要权重

DPO：

• actor model 需要权重、梯度、激活值、优化器状态
• reference model 仅仅推理得到 logprobs，所以只需要权重

GRPO：

• actor model — 训练
• reward model — 推理
• reference model — 推理

• ZeRO-1：把优化器状态拆分，所以单个 GPU 显存占用是 2+2+(12/N)B * 参数量
• ZeRO-2：优化器状态和梯度拆分，显存为 2+(2+12)/N B * 参数量
• ZeRO-3：优化器状态和梯度还有参数都拆分，显存为 (2+2+12)/N B * 参数量
• FSDP：与 ZeRO 类似

这里不考虑激活值。

第一阶段是 在 Llama-Factory 上进行 SFT 冷启动。Llama-Factory 支持的数据集格式为 sharegpt 或者 alpaca：

# alpaca
[
    {
        "instruction": "任务指令",
        "input": "可选的输入上下文",
        "output": "期望的输出响应"
    }
]
# sharegpt
[
    {
        "conversations": [
            {
                "from": "human",
                "value": "用户说的话"
            },
            {
                "from": "gpt",
                "value": "助手的回复"
            },
            {
                "from": "human",
                "value": "用户下一句话"
            }
        ],
        "system": "可选的系统提示词"
    }
]

然后使用这些自定义数据集需要我们重写 dataset_info.json 文件。

第二阶段是 在 verl 上进行 GRPO 训练。verl 需要的数据是包含下面字段的 parquet 类型数据：

{
    "data_source": data_source,
    "prompt": [{
        "role": "user",
        "content": question,
    }],
    "ability": "fact-reasoning",
    "reward_model": {
        "style": "rule",
        "ground_truth": {
            "target": example["golden_answers"]
        }
    },
    "extra_info": {
        "split": split,
        "index": idx,
    }
}

我们下载 FLASHRAG 数据集，然后用 Search-R1 提供的转换脚本 qa_search_train_merge.py 就好了，它会自动填充字段并且转换为 parquet 格式。

Search-R1 用的数据集是 Huggingface 上的 FlashRAG，这个数据集提供了 question 和 golden_answer，正好适用于 Search-R1 这种 ORM 的 RL 训练。FlashRAG 包含多种类型的 QA 数据：

1. 复现对齐：Search-R1 原论文用的是固定的 Wikipedia dump（wiki-18）， 用本地语料+索引能保证检索内容可控、可复现，不会随外部搜索引擎结果变化而漂移， 便于做消融和对比原论文指标。
2. 训练稳定性：RL rollout 阶段检索调用量大且并发高，外部 API 有限流、延迟抖动、可用性问题，会直接拖慢/打断整个 rollout pipeline；本地服务延迟低且可控， 可以配合 async rollout 提升吞吐。
3. 成本：训练阶段调用次数是数量级的，外部 API 计费不现实。

1. rollout 阶段进行检索服务时，如果遇到 retrieval 失败会进行多次重试。
2. 在 Search-R1 基础上引入异常轨迹监控与过滤机制，检索服务不可用/超时会被监控模块捕获，对应 trajectory 直接做 loss mask，不参与 GRPO 更新，避免因基础设施问题产生的低质量/异常样本污染训练信号。
3. 监控机制如果发现 retrieval 连续失败超过指定阈值，会直接终止训练。

1. SFT 冷启动阶段用教师模型蒸馏出的含 CoT + Tool Call 的轨迹数据训练， 从源头上让模型学会规范的输出格式
2. RL 阶段用格式约束作为辅助奖励， 配合精确匹配主奖励一起引导
3. 如果输出格式解析失败， 归为异常轨迹类型之一，做 loss mask 处理，不让这类样本产生有效梯度

1. 吞吐：vLLM 的 PagedAttention + continuous batching 相比 HF 原生推理 在 rollout 阶段吞吐高出一个量级，RL 训练里 rollout 生成是主要耗时瓶颈
2. 框架适配：VERL 的 HybridEngine 依赖 vLLM 做 rollout 引擎、FSDP 做训练引擎， 两者之间做权重 reshard/同步，这是新版 VERL 架构默认的 rollout backend
3. async rollout：要提升异步 rollout 机制的吞吐收益，需要 vLLM 支持的 高并发生成能力配合，HF 原生推理无法支撑这个并发规模

1. 采样温度/top-p 控制单条轨迹的多样性
2. group size 控制组内探索广度，group 内做相对优势计算
3. 对比 GRPO 加 KL 正则和不加 KL 正则的效果