本文介绍了DOUBLE-BENCH，迄今最大规模多语言多模态多跳查询的文档RAG评测基准，针对现有评测不足进行了改进。通过5168条人工校验查询，对9个embedding模型、4个MLLM和4个端到端框架评测，发现检索仍是最大瓶颈，模型普遍"过度自信"地产生幻觉。文章还提供了从Agent到Flow Agent的实操指南。

---

现有文档 RAG 评测都在不足：数据太小、查询太假、证据太单一。华南理工&华科推出 DOUBLE-BENCH——迄今最大规模、多语言、多模态、多跳查询的文档 RAG 实战考场，用 5 168 条人工校验 query 把 9 个 embedding、4 个 MLLM、4 个端到端框架统统拉到现实场景下评测，结果：检索仍是最大瓶颈，模型普遍“过度自信”地胡说八道。

说到多模态大模型，国内快手也开源了Keye-VL-1.5-8B（国产大模型越来越好，就在昨天Claude点名全面封禁中国公司，离大谱），可本地部署，大家可以试试！[刚刚，快手Keye-VL 1.5打败GPT-4o，刷新视频理解SOTA，三大创新细节开源！不管RAG到Multi-RAG未来的趋势还是Agentic RAG，PaperAgent也准备了实操指南

🔍 1 现有评测的不足

图 2：主流 benchmark 查询示例，信息不足或已提前泄露答案。

问题	典型案例	后果
① 评测面过窄	只测 embedding 或只测 VQA	看不到系统级瓶颈
② 假设用户开卷	直接给出目标页、文件名	与现实检索场景脱节
③ 证据唯一幻觉	单页 synthetic query	忽略多页均可回答
④ 多跳造假	把单跳硬拼成“伪多跳”	高估模型推理能力

🧪 2 DOUBLE-BENCH 长啥样？

维度	规模	备注
文档	3 276 份	72 880 页
语言	6 种	中/英/西/法/日/阿
类型	4 类	PDF、扫描件、幻灯、HTML
查询	5 168 条	2 500 单跳 + 2 668 多跳（2-3 跳）
证据	100 % 人工复核	单跳 set-of-evidence，多跳 chain-of-evidence

图 4：语料与语言分布，外圈为语言占比。

⚙️ 3 三步打造“真”考题

图 3：DOUBLE-BENCH 构建流水线，红框为人工介入环节。

1️⃣ 元数据收集与清洗

• 10–50 页文档，GPT-4o 判语言，Docling & MinerU 做模态拆分（正文/表格/图）。
  2️⃣ 单跳查询合成
• 四原则：自包含、禁止泄露源、聚焦显著模态、多样自然。
• 迭代 refine：若检索返回 >5 候选页，则自动加入区分细节再生成，直到 ≤5。
  3️⃣ 多跳查询合成
• LightRAG 建知识图谱 → 按“意图游走”选路径 → 逐跳替换实体并链式拼接。
• 人工审核逻辑严密性、答案唯一性、语法自然度。

📊 4 实验结果

4.1 检索榜

表 3：主流 embedding 在 DOUBLE-BENCH 上的细粒度结果。

• 文本与视觉 embedding 差距已缩小到 2% 以内；多跳仍集体掉 20+ 点。

4.2 端到端 RAG 框架榜

表 4：RAG 框架检索与回答准确率对比。

• 检索决定上限：colqwen-gen 靠检索优势，在多跳上反超 MDocAgent。
• 过度自信现象：MDocAgent/ViDoRAG 即使没召回证据也强行回答，幻觉率 30–40 %。

4.3 MLLM 裸跑 vs 给证据

• 充分说明 DOUBLE-BENCH 未被数据污染，模型靠“背题库”寸步难行。

表 5：MLLM 在“裸跑”与“开卷”下的准确率。

https://arxiv.org/pdf/2508.03644

读者福利大放送：如果你对大模型感兴趣，想更加深入的学习大模型**，那么这份精心整理的大模型学习资料，绝对能帮你少走弯路、快速入门**

如果你是零基础小白，别担心——大模型入门真的没那么难，你完全可以学得会！

👉 不用你懂任何算法和数学知识，公式推导、复杂原理这些都不用操心；
👉 也不挑电脑配置，普通家用电脑完全能 hold 住，不用额外花钱升级设备；
👉 更不用你提前学 Python 之类的编程语言，零基础照样能上手。

你要做的特别简单：跟着我的讲解走，照着教程里的步骤一步步操作就行。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

现在这份资料免费分享给大家，有需要的小伙伴，直接VX扫描下方二维码就能领取啦😝↓↓↓

为什么要学习大模型？

数据显示，2023 年我国大模型相关人才缺口已突破百万，这一数字直接暴露了人才培养体系的严重滞后与供给不足。而随着人工智能技术的飞速迭代，产业对专业人才的需求将呈爆发式增长，据预测，到 2025 年这一缺口将急剧扩大至 400 万！!

大模型学习路线汇总

整体的学习路线分成L1到L4四个阶段，一步步带你从入门到进阶，从理论到实战，跟着学习路线一步步打卡，小白也能轻松学会！

大模型实战项目&配套源码

光学理论可不够，这套学习资料还包含了丰富的实战案例，让你在实战中检验成果巩固所学知识

大模型学习必看书籍PDF

我精选了一系列大模型技术的书籍和学习文档(电子版)，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。

大模型超全面试题汇总

在面试过程中可能遇到的问题，我都给大家汇总好了，能让你们在面试中游刃有余

这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

👉获取方式：

😝有需要的小伙伴，可以保存图片到VX扫描下方二维码免费领取【保证100%免费】

相信我，这套大模型系统教程将会是全网最齐全 最适合零基础的！！