3 Search-R1

3.1 Reinforcement Learning with a Search Engine

其中是策略LLM，是参考LLM，是奖励函数，是KL散度度量[KL-divergence measure]。

 (Policy LLM) 就是你要训练的那个LLM, 就是它的一个冻结副本，训练前复制一份，之后不更新. Rollout 就是模型生成的一整段文本

表示从数据集中抽取的输入样本，表示与搜索引擎调用结果交替生成的输出，由参考策略采样并从搜索引擎[search engine]中检索得到。与先前主要依赖策略LLM πθ(· | x)来生成rollout序列的RL方法（Rafailov et al., 2023; Ouyang et al., 2022）不同，我们的框架通过πθ(· | x; R)显式地融入了检索交替推理，这可以表示为πθ(· | x) ⊗ᴺ R，其中⊗ᴺ表示交替的检索与推理。

Loss Masking for Retrieved Tokens. 检索token的损失掩码。

PPO with Search Engine. 结合搜索引擎的PPO。

是PPO中引入的与裁剪相关的超参数[clipping-related hyperparameter]，用于稳定训练。优势估计At使用广义优势估计（Generalized Advantage Estimation, GAE）（Schulman et al., 2015）计算，基于未来奖励{r≥t}和学习到的价值函数。

compute_reward()，答对=1，答错=0

token_mask列表，1=LLM生成的token，0=搜索引擎返回的token

是 价值函数（Value Function），也叫 Critic模型，它本质上也是一个神经网络（通常就是另一个LLM），用来预测"从当前状态开始，最终能拿到多少奖励"。

# PPO里有两个模型需要训练：
# 1. Policy LLM (π_θ) - Actor - 负责生成文本
policy_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-3B")  # lr=1e-6

# 2. Value LLM (V_φ) - Critic - 负责预测"这个rollout最终能不能答对"
value_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-3B")   # lr=1e-5
# 通常在LLM输出层上面加一个线性层，把hidden state映射成一个标量
value_head = nn.Linear(hidden_size, 1)  # 输出一个数值  注意，只是一个值，0或者1.

Vϕ 的作用：计算优势 (Advantage)

def compute_advantage_ppo(value_model, value_head, rollout_tokens, final_reward, token_mask):
    """
    PPO用V_φ来计算每个token位置的优势A_t
    
    A_t = "实际拿到的奖励" - "V_φ预测的奖励"
    
    如果A_t > 0：说明这步做得比预期好 → 强化
    如果A_t < 0：说明这步做得比预期差 → 抑制
    """
    # V_φ对每个token位置预测一个价值
    hidden_states = value_model(rollout_tokens).hidden_states[-1]  # [1, seq_len, hidden]
    values = value_head(hidden_states).squeeze(-1)                  # [1, seq_len]
    # values[t] 的含义：模型预测"从第t个token开始，最终拿到的奖励是多少"
    
    # 举个具体例子：
    # rollout: <think> I need ... </think> <search> query </search> <info>...</info> <think>...</think> <answer> X </answer>
    # values:  [0.3,  0.3, ..., 0.3,    0.4,   0.4, ...,  0.0,...,0.0,   0.5, ...,  0.6,    0.8, 0.9]
    #                                                       ↑ 检索内容不重要      ↑ 越接近答案，预测越高
    
    # 实际奖励：只在最后一个token给（答对=1，答错=0）
    # rewards: [0,    0,   ..., 0,      0,     0,  ...,   0,..., 0,      0,   ...,  0,      0,   1.0]
    
    # GAE (Generalized Advantage Estimation) 计算优势
    # 简化版本（论文用λ=1, γ=1，相当于蒙特卡洛）：
    advantages = []
    for t in range(len(values)):
        # A_t = R(最终奖励) - V_φ(t)(预测的奖励)
        A_t = final_reward - values[t]
        advantages.append(A_t)
    
    return advantages, values

一个例子。

# 一个rollout的结构：
rollout = """
<think> I need to find who wrote 1984. </think>
<search> author of novel 1984 </search>
<information> George Orwell wrote 1984... </information>
<think> The author is George Orwell. </think>
<answer> George Orwell </answer>
"""

# V_ϕ 的输入输出：
# 输入：把整个rollout的token序列喂给value_model
# 输出：对每一个token位置，输出一个标量值

# 具体来说：
tokens = ["<think>", "I", "need", "to", "find", ..., "</think>",
          "<search>", "author", ..., "</search>",
          "<information>", "George", "Orwell", ..., "</information>",
          "<think>", "The", "author", ..., "</think>",
          "<answer>", "George", "Orwell", "</answer>"]

values = [0.25,     0.25, 0.25,  0.25, 0.26, ..., 0.30,
          0.32,       0.33,  ...,       0.35,
          # <information>内容被mask，这些值不参与计算
          0.50,     0.52,   0.55,  ...,       0.60,
          0.70,       0.80,    0.85,       0.90]
#  ↑ 刚开始不确定能不能答对           ↑ 搜到有用信息后，信心增加        ↑ 快要给出正确答案了，值接近1

V_ϕ是逐token预测的，不是逐action预测的。但在实际效果上，由于token mask的存在，只有LLM生成的token的优势会被用到，search返回的token直接被mask（全部为0）.

PPO vs GRPO 的核心区别

# ===== PPO: 用V_φ(Critic)来估计基线 =====
def ppo_advantage(value_model, rollout, reward):
    # 需要额外训练一个价值网络
    predicted_value = value_model(rollout)    # V_φ预测每个位置的价值
    advantage = reward - predicted_value       # 优势 = 实际 - 预测
    
    # 同时还要更新V_φ本身（让它预测更准）
    value_loss = (predicted_value - reward) ** 2  # MSE损失
    return advantage, value_loss

# ===== GRPO: 用组内平均奖励作为基线，不需要V_φ =====
def grpo_advantage(rewards_group):
    # 不需要额外的模型！
    # 同一个问题生成5个rollout，奖励分别是 [1, 0, 1, 0, 0]
    mean = rewards_group.mean()   # 0.4
    std = rewards_group.std()     # 0.55
    advantage = (rewards_group - mean) / std  # [1.09, -0.73, 1.09, -0.73, -0.73]
    return advantage
```

## 为什么PPO需要warm-up而GRPO不需要
```
PPO训练过程：
Step 0-50:   V_φ还不准，预测值乱七八糟 → 优势估计不准 → 策略更新方向不对 → 训练不稳定
Step 50-100: V_φ慢慢学会预测 → 优势估计变准 → 训练开始有效
Step 100+:   V_φ预测稳定 → 训练稳定上升

GRPO训练过程：
Step 0:      直接用组内比较，不需要预训练任何东西 → 马上开始有效训练
Step 100+:   但组内方差可能导致不稳定 → 容易reward collapse

GRPO with Search Engine. 结合搜索引擎的GRPO。

为了提高策略优化的稳定性并避免对额外价值函数近似的需求，Shao et al.（2024）引入了组相对策略优化（GRPO）。GRPO与PPO的不同之处在于，它利用多个采样输出的平均奖励作为基线，而非依赖学习到的价值函数。具体而言，对于每个输入问题，GRPO从参考策略中采样一组响应{y1, y2, . . . , yG}。然后通过最大化以下目标函数来优化策略模型：

其中ϵ和β是超参数，表示优势，基于每组内输出的相对奖励计算得出。这种方法避免了在计算Âi,t时引入额外的复杂性。此外，GRPO并未将KL散度作为惩罚项纳入奖励函数，而是通过直接将训练策略与参考策略之间的KL散度添加到损失函数中来进行正则化。在计算KL散度损失时，同样应用了检索token掩码。

3.2 Generation with Multi-turn Search Engine Calling

在本节中,我们描述了带有交错多轮搜索引擎调用的大语言模型响应生成的推演过程,其形式化表示为:

我们的方法遵循一个迭代框架,其中大语言模型在文本生成和外部搜索引擎查询之间交替进行。具体而言,系统指令引导大语言模型在需要外部检索时,将其搜索查询封装在两个指定的搜索调用标记<search>和</search>之间。在生成序列中检测到这些标记后,系统提取搜索查询,查询搜索引擎,并检索相关结果。检索到的信息随后被封装在特殊的检索标记<information>和</information>内,并附加到正在进行的推演序列[the ongoing rollout sequence]中,作为下一生成步骤的附加上下文。此过程迭代进行,直到满足以下条件之一:(1)达到最大操作次数,或(2)模型生成最终响应,该响应被封装在指定的答案标记<answer>和</answer>之间。完整的工作流程在算法1中概述。