摘要：像深度研究（Deep Research）这类网络智能体已展现出超越人类水平的认知能力，能够解决极具挑战性的信息检索问题。然而，目前大多数研究仍主要以文本为中心，忽略了现实世界中的视觉信息。这使得多模态深度研究极具挑战性，因为与基于文本的智能体相比，此类智能体在感知、逻辑、知识推理以及使用更复杂工具方面需要具备更强的推理能力。为解决这一局限，我们推出了具备增强型视觉语言推理能力的多模态深度研究智能体——WebWatcher。它利用高质量的合成多模态轨迹实现高效的冷启动训练，借助多种工具进行深度推理，并通过强化学习进一步提升泛化能力。为更好地评估多模态智能体的能力，我们提出了BrowseComp-VL基准，该基准采用BrowseComp风格，要求完成涉及视觉和文本信息的复杂信息检索任务。实验结果表明，在四个具有挑战性的视觉问答（VQA）基准测试中，WebWatcher的表现显著优于专有基线模型、检索增强生成（RAG）工作流以及开源智能体，这为解决复杂的多模态信息检索任务铺平了道路。Huggingface链接：Paper page，论文链接：2508.05748

研究背景和目的

研究背景：

随着人工智能技术的飞速发展，深度研究代理（Deep Research Agents）在解决复杂信息检索问题方面展现出了超越人类的能力。然而，现有的研究主要集中在基于文本的代理上，这些代理主要处理静态提示，并通过多步任务规划来解决问题，如发出搜索查询、阅读文档、浏览网页和通过迭代推理完善答案。尽管这些基于文本的深度研究代理取得了显著成就，但它们往往忽视了现实世界中丰富的视觉信息。许多研究密集型和日常任务，如解释科学图表、分析图形或导航视觉丰富的网页界面，都需要综合的视觉语言推理能力。

尽管专有代理在多模态深度研究方面取得了一定进展，但这一领域仍然存在大量未探索的挑战。现有的多模态代理往往依赖于僵化的、模板驱动的流程，这些流程仅限于特定场景，缺乏解决实际研究挑战所需的灵活推理能力。例如，许多视觉语言（VL）代理主要依赖视觉工具进行基于图像的推理，如光学字符识别（OCR）、边界框提取、图像裁剪和视觉注释等。尽管这些工具在处理感知任务时有所帮助，但它们难以将视觉推理与深入的文本理解及跨模态推断相结合，因此在处理高难度任务时显得力不从心。

研究目的：

为了解决上述问题，本研究旨在开发一个名为WebWatcher的多模态深度研究代理，该代理具备增强的视觉语言推理能力。WebWatcher不仅能够处理复杂的视觉和文本信息，还能利用多种外部工具进行深入推理，并通过强化学习进一步提升泛化能力。此外，为了更好地评估多模态代理的能力，本研究还提出了一个名为BrowseComp-VL的新基准，该基准要求代理在复杂的信息检索任务中综合运用视觉和文本信息。

研究方法

1. 数据集构建：

为了训练和评估WebWatcher，研究团队构建了一个名为BrowseComp-VL的大规模多模态数据集。该数据集包含来自五个主要领域的17个细分子领域的复杂问题，每个问题都需要跨模态推理和多步信息检索。数据集分为两个难度级别：Level 1问题需要多跳推理，但仍引用明确的实体；Level 2问题则通过模糊化实体和属性来增加不确定性，要求代理进行规划、比较和综合信息。

数据集构建过程包括以下步骤：

• QA对生成：从权威和知识丰富的来源（如arXiv、GitHub和Wikipedia）收集根URL，并递归遍历可访问的超链接以生成问题-答案对。
• QA到VQA转换：将生成的文本QA对转换为多模态VQA项，通过替换关键实体为视觉参考标记，并检索相关图像作为视觉基础。
• 质量控制：通过三阶段过滤管道确保VQA样本的质量，包括选择器、检查器和最终的人工验证。

2. 工具集成与轨迹生成：

WebWatcher集成了多种外部工具，包括Web图像搜索、Web文本搜索、网页访问、代码解释器和内部OCR工具。为了有效地使用这些工具，研究团队开发了一个全自动化的轨迹生成管道，该管道通过提示生成工具使用行为序列，并构建包含思考-行动-观察循环的推理轨迹。这些轨迹随后用于监督微调（SFT）和强化学习（RL）训练。

3. 模型训练与优化：

• 监督微调（SFT）：使用高质量的ReAct风格轨迹对WebWatcher进行冷启动训练，教会模型如何有意义地使用工具并遵循结构化的多步推理过程。
• 强化学习（RL）：采用Group-Relative Policy Optimization（GRPO）算法进一步优化决策制定，通过排名奖励机制促进稳定更新和探索具有更高相对优势的轨迹。

研究结果

1. 基准测试性能：

WebWatcher在多个具有挑战性的VQA基准测试中表现出色，包括HLE-VL、LiveVQA、BrowseComp-VL和MMSearch。实验结果显示，WebWatcher在这些基准测试中的性能显著优于现有的开源多模态研究代理和专有系统。特别是在HLE-VL基准测试中，WebWatcher-32B模型达到了18.2%的平均得分，超过了强大的GPT-4o基线模型。

2. 工具使用效率：

分析表明，WebWatcher能够根据任务需求灵活选择工具。例如，在HLE基准测试中，Web文本搜索、Web图像搜索、代码解释器和网页访问工具的使用比例分别为34.7%、25.6%、25.1%和14.6%，显示出模型在处理不同类型任务时的工具选择多样性。相比之下，在BrowseComp-VL基准测试中，Web文本搜索的使用比例高达62.1%，反映了信息检索在该任务中的主导地位。

3. 强化学习效果：

通过GRPO算法进行强化学习训练后，WebWatcher在多个基准测试中的性能得到了显著提升。特别是在HLE基准测试中，经过强化学习训练的WebWatcher-32B模型得分从SFT冷启动阶段的0.12提升至0.30，并在后续训练中持续上升，最终达到18.2%的平均得分。

研究局限

尽管WebWatcher在多模态深度研究方面取得了显著进展，但该研究仍存在一些局限性：

1. 数据集规模和多样性：

尽管BrowseComp-VL数据集在规模和多样性方面已经相当可观，但与现实世界中的复杂任务相比，仍存在一定差距。未来工作需要进一步扩大数据集规模，并增加更多样化的任务类型和场景。

2. 工具集成的复杂性：

虽然WebWatcher已经集成了多种外部工具，但工具之间的协调和交互仍然是一个挑战。未来工作需要探索更有效的工具集成方法，以提高模型在处理复杂任务时的效率和准确性。

3. 泛化能力和鲁棒性：

尽管WebWatcher在多个基准测试中表现出色，但在面对未见过的任务或领域时，其泛化能力和鲁棒性仍有待提高。未来工作需要探索如何通过迁移学习、领域适应等技术进一步提升模型的泛化能力和鲁棒性。

未来研究方向

1. 扩大数据集规模和多样性：

未来的研究应致力于构建更大规模、更多样化的多模态数据集，以涵盖更多类型的任务和场景。这将有助于提升模型的泛化能力和鲁棒性，使其能够更好地适应现实世界中的复杂任务。

2. 探索更有效的工具集成方法：

未来的研究应探索如何更有效地集成多种外部工具，以提高模型在处理复杂任务时的效率和准确性。这可能包括开发新的工具使用策略、优化工具之间的协调机制等。

3. 结合迁移学习和领域适应技术：

为了进一步提升模型的泛化能力和鲁棒性，未来的研究可以探索如何将迁移学习和领域适应技术应用于多模态深度研究代理中。这将有助于模型在面对未见过的任务或领域时，能够快速适应并表现出色。

4. 开发更复杂的评估基准：

为了更好地评估多模态深度研究代理的能力，未来的研究可以开发更复杂的评估基准，这些基准应涵盖更多类型的任务、更复杂的推理过程和更严格的评估标准。这将有助于推动多模态深度研究领域的发展，并促进更先进的代理系统的开发。