note

• 多模态搜索里的工具（比如图搜、截图放大）有个特殊性质：只要你给的参数一样，拿到的信息就一定一样，跟前面怎么推理的没关系。既然同一个动作在成功轨迹里是好用的，那它在失败轨迹里就不该被一棍子打死，TAPO 就是专门纠正这种“冤枉好人”的优化算法。
• TAPO 敏锐捕捉到 GRPO 在多步工具调用场景下“一刀切”赋值的弊端，利用工具参数的确定性在批次内做低成本反事实推理与优势补偿，在几乎无额外开销的前提下，通用且稳定地提升了多模态搜索智能体的训练效率与最终表现，同时缓解了熵崩塌与工具回避行为。

一、研究动机：揭示并解决“信用误分配”问题

TAPO则优化强化学习中的奖励分配问题，在七个多模态搜索基准上平均提升5.83%。
论文链接：TAPO: https://arxiv.org/abs/2606.05784

论文指出，当前主流的组相对策略优化算法（GRPO）在训练工具增强型多模态搜索智能体时存在系统性缺陷——信用误分配（Credit Misassignment）。

• 问题描述：GRPO 将轨迹级别的优劣（成功/失败）均匀广播为轨迹内所有 Token 的优势值（Advantage）。在失败轨迹中，即便某些工具调用步骤（如图像搜索、文本检索）的参数正确且获取了有价值的信息，也会因最终答案错误而被统一赋予负向优势信号进行惩罚。
• 矛盾现象：同一组工具调用参数在成功轨迹中获得正反馈，在失败轨迹中却获负反馈，导致梯度信号自相矛盾、相互抵消，浪费了大量有价值的训练信号。
• 量化现状：实证表明，超过 50% 的失败轨迹和失败工具调用存在可修正的信用误分配，这说明该问题不仅普遍，且具有结构性可利用价值。

二、TAPO 方法与参数确定性洞察

基于上述动机，论文提出 TAPO（Tool-Aware Policy Optimization），其核心建立在信息获取工具的参数确定性（Parameter Determinism）这一关键洞察上。

• 核心洞察：对于图像搜索、文本搜索、区域放大等工具，调用参数决定了信息获取动作。相似参数的工具调用对应等效的信息获取意图，其行动信用应可比，不应仅因所处轨迹最终失败而被全盘否定。
• 反事实见证（Counterfactual Witness）：在当前训练批次（Batch）的成功轨迹中，构建参考库。若失败轨迹中的某一步工具调用与成功轨迹中的某步参数相似，则后者作为“反事实见证”，证明该动作本身具有正价值。
• 置信度门控信用迁移（Confidence-Gated Credit Transfer）：
  1. 匹配：计算失败步骤与参考库中同类型工具调用的参数相似度（图像搜索看输入一致性、区域放大看 IoU、文本搜索看查询相似度）。
  2. 置信度计算：结合参数相似度（$\text{sim}$）与参考覆盖度（$\text{sup}$，即该参考组出现在多少成功轨迹中）得到置信度 $\alpha$。
  3. 保守补偿：仅当 $\alpha$ 高于阈值时，将成功轨迹的正向优势按系数 $\beta$ 补偿到失败步骤的负优势上，并使用 $\min (\cdot ,0)$ 截断确保失败轨迹中的步骤优势不会被全局修正为正，保证优化方向安全。
• 零边际成本：TAPO 仅利用批次内已有数据，无需额外标注、额外模型或蒙特卡洛采样，计算开销仅占训练时间的约 0.06%。

TAPO（Tool-Aware Policy Optimization），一款无额外计算成本、带置信度门控的信用补偿优化算法。

1、算法整体流程分为三步：
第一、标准GRPO将轨迹级优势均匀广播到所有token。
第二、从成功轨迹中的工具调用步骤按参数相似度聚类，构建工具调用参考库。
第三、将失败轨迹中的每个工具调用步骤与最相似的参考簇匹配，通过相似度阈值与置信度双重门控进行优势迁移。

2、围绕反事实信用修正思路，TAPO搭建四项核心机制，实现高效、稳定、通用的训练优化：

• 构建反事实参考库，从当前批次成功轨迹中按工具类型、参数相似度聚类，无需额外采样。
• 置信度门控匹配，结合参数相似度与成功轨迹覆盖率双重筛选，过滤低可靠度修正信号。
• 保守优势补偿，失败步骤仅修正为中性状态，不给予正向激励，保证整体优化方向稳定。
• 即插即用适配，兼容GRPO、GSPO、SAPO三种主流RL算法，几乎无额外计算开销。

三、实验结果与性能表现

论文在 7 个多模态搜索基准（MMSearch、HR-MMSearch、FVQA-test、InfoSeek、SimpleVQA、LiveVQA、MAT-Search）上验证了 TAPO 的有效性。

• 整体性能提升：以 SAPO 为骨干时，TAPO 将 Qwen3-VL-8B 的平均准确率从 62.48% 提升至 65.21%（相对 +4.4%）；相比强基线 SenseNova-MARS 也有 +2.5% 的相对提升。
• 跨算法通用性：TAPO 作为即插即用组件，在 GRPO（+5.83%）、GSPO（+4.65%）、SAPO（+4.69%） 三种主流组基 RL 算法上均带来稳定提升。
• 鲁棒性：转移系数 $\beta$ 在 $[0.1,1.0]$ 范围内波动时，TAPO 始终优于原生 GRPO，表现出对超参的鲁棒性。
• 消融实验：移除覆盖度因子（$\text{sup.}$）会导致性能跌至 55.00%（−4.71%），移除保守截断（$\text{clip}$）会引发熵发散与训练不稳，证实了两重门控设计的必要性。

四、深入分析：训练动态与行为变化

在Qwen3-VL-4B基座上，实验对比了准确率、策略熵、平均响应长度、平均工具调用次数四项核心指标。相较于原生GRPO，TAPO不仅实现更高准确率，还有效缓解了训练过程中的策略熵坍塌与工具调用退化问题，从根本上保护了模型的工具探索能力。

论文进一步分析了 TAPO 对智能体训练过程的深层影响：

• 缓解熵崩塌（Entropy Collapse）：原生 GRPO 因持续对工具步骤施加负梯度，模型逐渐学会减少工具调用来“避险”，导致策略熵持续下降、探索能力退化；TAPO 通过补偿正确工具调用的负信号，维持了更高的策略熵与探索多样性。
• 逆转工具使用退化：GRPO 训练中响应长度与工具调用频次随训练下降（走捷径倾向），而 TAPO 使两者保持更动态、丰富的模式，证明模型更愿意主动调用工具进行深度信息收集。
• 跨工具分层补偿：置信度设计自然形成三层分化——图像搜索（参数高度一致，置信度高，补偿强）> 文本搜索 > 区域放大（参数多样，置信度低，补偿保守），自适应匹配不同工具的信号可靠性。
• 持续性：信用误分配在整个训练周期中并未随模型能力提升而消失，TAPO 的补偿机制在全周期均有明确修正目标，非仅早期有效。