Interview Q&A

准备 2026 暑假 LLM 算法实习ing

Transformer#

Architecture#

Transformer 的核心是用 Self-Attention + FFN 替代 RNN/CNN，实现对序列中任意位置的全局建模。结构通常分为：

1. Encoder-only 用的是双向自注意力，能看到两侧的 token，所以能捕捉整体信息。
2. Decoder-only 用的因果掩码注意力，符合自回归生成，适合 NLP 问题。
3. Encoder-Decoder 是交叉注意力，Encoder 理解 Decoder 生成，所以适合 seq2seq。

让 Image-2 根据我的手稿生成了一个手绘风格示意图，感觉还可以。

Attention#

KVCache#

class KVCacheAttention(nn.Module):
    def forward(self, x, cache=None, mask=None):
        # ...
        if cache is not None:
            k = torch.concat([cache["k"], k], dim=2)  # seq_len 维度 concat
            v = torch.concat([cache["v"], v], dim=2)
        
        new_cache = {
            "k": k,
            "v": v
        }

        scores = q @ k.transpose(-2, -1) / math.sqrt(self.d_k)
        if mask is not None:
            scores = scores.masked_fill(mask[:t_q, :t_k]==0, float("-inf"))

        attn = torch.softmax(scores, dim=-1)
        output = (attn @ v).transpose(1, 2).reshape(B, T, self.d_model)
        return self.o_proj(output), new_cache

加入 KVCache 之后 seq_k 和 seq_q 的长度就不一样了，所以需要进行截长。

Position Embedding#

1. Learnable Position Embedding

像 token embedding 一样，用长度为 dim 的向量表示 token 的位置信息，无需多言。问题在于长度是固定的，假如训练时 max_seq=2048 推理时候 max_seq=4096，就会出现位置不存在，所以 Learnable Position Embedding 的问题就是不能外推。

2. Sinusoidal Position Embedding

正余弦位置编码的思想也是给每个位置生成唯一编码，从公式可以看出在低维度数值变化快频率高，在高度为数值变化低频率低：

低维：sin(1)      sin(2)      sin(3)      sin(5)
高维：sin(0.0001) sin(0.0002) sin(0.0003) sin(0.0004) 

通过这种方法就可以给每一个 position 一个独一无二的向量，因为多个频率组合起来，几乎不可能出现两个位置完全一样。它的问题在于不好体现位置的相对关系，把 sinusoidal pe 加入 token embedding 之后模型得自己找到 $x_i=e_i+PE_i$ 的相对关系。

3. RoPE

假设我们有 pos=m 的词向量 $q_m$ 和 pos=n 的词向量 $k_n$，我们分别用旋转矩阵 $R$ 对两个向量进行旋转，然后计算它们的内积：

可以发现内积的结果只和两个词向量的相对位置有关， 最终结果 $q_m^TR((n-m)\theta)k_n$ 与 $m$ 和 $n$ 的绝对值无关，只与相对位置 $(m−n)$ 有关。扩展到高维之后可以看下图：

Normalization#

早期 BatchNorm 论文认为它通过减少 Internal Covariate Shift 来提升训练效果，但后续研究发现这并不是主要原因。现代观点认为 Normalization 的核心作用是控制激活值和梯度的尺度，使网络各层输入保持在稳定范围内，从而改善优化问题、平滑 Loss Surface、提高训练稳定性，并允许使用更大的学习率。

1. Batch/Layer Normalization

BatchNorm 和 LayerNorm 的都是标准的归一化公式，区别在于 BatchNorm 的均值和方差计算都在 batch 维度，而 LayerNorm 在 hidden dim 上计算均值和方差。

2. RMS Normalization

一方面 RMSNorm 发现去掉均值 $\mu$ 之后影响不大，减少这一步计算可以大幅度节省时间。另一方面是去掉均值可以减少信息损失，让训练更稳定。

loss.backward()

torch.nn.utils.clip_grad_norm_(
    model.parameters(),
    max_norm=1.0
)

optimizer.step()

LoRA#

LoRA 微调的思路是不在原矩阵 $W$ 上进行参数更新，而是用矩阵加法训练一个新的参数矩阵 $\Delta W$。LoRA 牛逼之处在于 $\Delta{W}$ 不需要和 $W$ 一样的参数量，他可以被拆为两个低秩矩阵的乘积:

假设原矩阵 $W \in \mathbb{R}^{d \times d}$，低秩矩阵为 $A \in \mathbb{R}^{d \times r}$ 和 $B \in \mathbb{R}^{r \times d}$，那么训练参数量由 $d\times d$ 变成了 $2 \times d \times r$。

class LoRA(nn.Module):

	def __init__(self, in_feature: int, out_feature: int, rank: int, alpha: int):
		super(LoRA, self).__init__()
		self.rank = rank
		self.alpha = alpha
		
		self.A = nn.Linear(in_feature, rank, bias=False)
		self.B = nn.Linear(rank, out_feature, bias=False)

	def forward(self, x):
		return self.B(self.A(x)) * self.alpha / self.rank

SFT#

how#

sft 就是让模型在收集的 trajectory 上做 off-policy 的 teacher-forcing 训练。我们把 labels[:, :t-1] 喂给模型让它进行 next token prediction，然后用预测的 token 和 labels[:, t] 计算交叉熵损失以此优化模型。

具体来说，我们把 labels[:, :-1] 喂给模型，由于因果掩码的存在，模型预测的 logits（形状为 [B, T-1]） 里面每个 $\text{token}_t$ 都是基于前 $t-1$ 个 token，也就实现了 teacher-forcing，然后我们计算 logits 和 labels[:, 1:] 的交叉熵损失就好了。

def sft_loss(logits, labels, ignore_index=-100):
	assert logits.dim() == 3
	assert labels.dim() == 2
	
	loss = F.cross_entropy(
		logits.view(-1, logits.size(-1)),
		labels.view(),
		ignore_index=ignore_index,
		reduction="mean"
	)
	return loss

写到这里突然想起来一个很重要的问题，sft 和 pretrain 的一个很重要的差异就是：pretrain 是在大量数据上学习整个文本，而 sft 是在学习该如何回复 prompt，所以训练时候需要：

1. sft 需要给 prompt+response 应用 chat_template，而 pretrain 只需要把 text encode 就好了。
2. sft 需要把非 assistant 的部分 mask 掉，避免模型学 prompt 本身的分布。

def only_assistant(input_ids, max_prompt_len, ignore_index=-100):
	labels = input_ids[:, 1:]
	labels[:, :max_prompt_len] = ignore_index
	return labels

tricks#

LLM训练-sft 这篇文章里面提到的一个很重要的技巧就是：对不同 task_type 和 special token 分别观察 channel_loss。

def compute_loss(logits, labels, task_ids):
	per_token_loss = F.cross_entropy(
	    logits.view(-1, vocab_size),
	    labels.view(-1),
	    ignore_index=-100,
	    reduction='none'
	).view(B, T)  # (B, T)
	
	# 按 task_type 分组
	for task in unique_tasks:
	    task_mask = (task_ids == task).unsqueeze(1)  # (B, 1) broadcast to (B, T)
	    valid_mask = (labels != -100) & task_mask    # (B, T)
	    
	    task_loss = per_token_loss[valid_mask].mean()
	    log(f"loss/{task}", task_loss)
	
	# 训练用的总 loss（所有 task 合并）
	total_loss = per_token_loss[labels != -100].mean()

我们通过 batch 内数据的 task_type 生成掩码，就可以计算特定 task_type 数据的 loss。然后根据 loss 我们就知道不同 task_type 数据的拟合情况，如果过拟合了我们就需要删减这个 task_type 的数据，或者增加其他类型数据，如果欠拟合就需要扩大这类数据量。

special_token 同理，我们可以通过类似方法观察 special_token 的 loss 变化，正常来说在 sft 初期 special_token 的 loss 是比较高的，因为这些 token 在 pretrain 时候没有见过。

SPECIAL_TOKEN_IDS = {tokenizer.convert_tokens_to_ids(t) 
                     for t in ["<think>", "</think>"]}

# special token 位置 mask
special_mask = torch.zeros_like(labels, dtype=torch.bool)
for tok_id in SPECIAL_TOKEN_IDS:
    special_mask |= (input_ids == tok_id)

# 只在 response 范围内且是 special token
special_valid = special_mask & (labels != -100)
normal_valid = ~special_mask & (labels != -100)

special_token_loss = per_token_loss[special_valid].mean()
normal_loss = per_token_loss[normal_valid].mean()

log("loss/special_tokens", special_token_loss)
log("loss/normal_tokens", normal_loss)

RLHF#

Monte Carlo#

TD Error#

GAE#

KL Divergence#

f-散度的提出是为了解决 两个分布到底有多么不同 这样一个问题，由于分布是曲线没法相减，所以需要一种把"两条曲线的差异"压缩成一个数的方法，这就是散度。f-散度的核心思路：在每个点 x 处，看 P 和 Q 的密度之比 $r(x)=\frac{p(x)}{q(x)}$。如果 $r(x) = 1$ 处处成立，两个分布完全一样散度应该是 0。如果 $r$ 偏离 1，说明有差异应该被惩罚。用一个凸函数 $f(r)$ 来做这个惩罚，然后对全空间积分（以 Q 为权重）。选不同的 $f$，就得到不同的散度：

我们在大模型训练中常见的 KL 散度就是 $f(r)=r\log r$ 形状的 f-散度：

KL 散度理论上是用概率分布的积分定义的，但现实中我们只有有限的样本数据，没法精确计算，所以需要用样本来近似估算——这个近似方法就叫"估计器"。

一个优秀的估计器通常需要考量两个核心指标：

1. 偏置：估计器的数学期望是否等于真实值？如果相等，就是无偏估计；如果不等，就是有偏估计。
2. 方差：不同批次的样本算出来的估计值，上下波动大不大？方差太大会导致强化学习的梯度震荡，训练崩盘。

三种估计器#

k1 估计器是最直接的推导，既然我们要计算 $\mathbb{E}_{x \sim q} [-\log r]$，那么直接脱掉期望符号，用单样本的函数值作为估计：

虽然 $\mathbb{E}[k_1]$ 严格等于真实 KL（绝对无偏），但是它的方差极大。因为当某个样本下 $q(x) < p(x)$ 时，$k_1$ 会变成负数。尽管理论上整体 KL 散度永远 $\ge 0$，但 $k_1$ 单个样本却频繁在正负之间剧烈摆动，这在代码里做强化学习策略裁剪（Clip）或加惩罚项时，会带来巨大的不稳定因素。

在强化学习中，由于我们往往会限制新旧策略不能离得太远，因此可以假设 $p \approx q$，这意味着比率 $r \approx 1$。 我们可以利用泰勒展开，在 $r = 1$ 处对函数进行逼近：

接着，我们在期望意义下看待这个公式。因为上面提到了 $\mathbb{E}_{x \sim q}[r - 1] = 0$，所以线性项 $-(r-1)$ 在求期望时直接归零了。因此：

同时，我们知道当 $r \approx 1$ 时，由一阶展开可知 $\log r \approx r - 1$。我们将这个关系代入上式，用 $(\log r)^2$ 替换掉 $(r-1)^2$，就得到了 $k_2$：

因为带有平方，$k_2 \ge 0$ 恒成立，完美避开了 $k_1$ 产生负数导致的剧烈摆动，方差极小。但它是截断泰勒展开的产物，所以是有偏估计。

k3 估计器的思路是设计一个估计器，既像 $k_1$ 一样严格无偏，又像 $k_2$ 一样恒大于 0 且方差极小？ 为此，他引入了统计学中大名鼎鼎的控制变量技术：在无偏估计器 $k_1$ 上，加上一个期望值严格为 0 的项，利用它们之间的负相关性来抵消波动。前面我们已经证明了 $\mathbb{E}_{x \sim q}[r - 1] = 0$。那么我们直接把这一项无条件加到 $k_1$ 里面去：

k3 的方差问题根源在于 $r-1$ 这一项：当 $r=\pi_{\theta}/\pi_{ref}$ 很大时（即训练策略对某个 token 分配远高于参考模型的概率)，$r一1$ 按 $r 线性增长，而 $k1=-\log r$ 只是对数增长。结果就是：KL 大时，k3 的方差比 k1 高出几个数量级。

前向/反向 KL 散度#

KL 散度是不对称，$D_{K L} \left(\right. P \parallel Q \left.\right) \neq D_{K L} \left(\right. Q \parallel P \left.\right)$，所以"哪个在前哪个在后"非常重要。$D_{KL}(P \| Q) = \int p(x) \log \frac{p(x)}{q(x)} dx$ 从 KL 散度公式可以观察到，传统 KL 散度也就是 Forward KL 是从分布 $p(x)$ 里面采样，而 $D_{KL}(Q \| P)$ 称作 Reverse KL 反向 KL 散度，他从分布 $q(x)$ 采样。

1. 从分布 $p(x)$ 中采样意味着：我们需要能获得 $p(x)$ 的数据。所以我们在做 OPD 时候必须反向 KL 散度，OPD 规定了 trajectory 必须从学生模型 $q(x)$ 采样。
2. FKL 偏向于把概率质量"摊开"，覆盖两个峰之间的低概率谷地，生成的内容是所有 teacher 模式的模糊平均。
3. RKL 中 student 只需要找到 teacher 的某一个高概率模式，集中概率质量进去。

惩罚系数#

DAPO、VAPO、MiniMax CISPO 主张完全去掉 KL 散度项，原因是对于这些关注 reasoning RL 的工作：

• 奖励目标本身就是远离 SFT 分布，模型要学会"反思"、“aha moment”，分布必然大幅漂移，KL会阻碍学习。
• RL有可验证 reward(比如 rule-based、math/code verifier)，Reward Hacking 风险小，没有必要用 KL 散度。
• 资源上节约 reference model 显存和 forward 计算，训练效率提升明显。

DeepSeek GRPO/Kimi/GLM 保留 KL 散度项，原因是对于基座模型来说，统一 RL stage 里混了 alignment 和 general task 多种任务，很多都是经典 RLHF 里 reward hacking 的高触发场景，KL 能必要的防护。但是这些工作都在 KL 上进行了精细化：

• DeepSeek V3.2为例子，进行了以下几个调整：
  • 不同领域适用不同 KL 系数（per-domain）：数学场景（Reasoning主导）系数接近 0，通用对齐保留系数。
  • 修正KL估计器。
• Kimi K1.5/K2 也使用了 KL 强度动态调整。

Importance Sampling#

重要性采样 IS 的核心思想是用一个分布 $q \left(\right. x \left.\right)$ 采样的数据去估计另一个分布 $p \left(\right. x \left.\right)$ 下的期望，只需要乘以一个修正比率：

• $p \left(\right. x \left.\right)$ 是真正想估计期望的分布（目标策略）
• $q \left(\right. x \left.\right)$ 是实际用来采样的分布（行为策略）
• $\frac{p \left(\right. r \left.\right)}{q \left(\right. x \left.\right)}$ 就是重要性比率

PPO#

DPO#

GRPO#

熵崩塌#

分布式训练#

Data Parallel#

Tensor Parallel#

Deepspeed Zero#

训练#

参数量计算#

显存计算#

训练出现 NaN 的原因#

lr,除0，log，clamp