图片来源网络，侵权联系删

前言

在RAG（检索增强生成）系统中，召回效果直接决定了生成内容的准确性与可靠性。传统检索（如向量检索、BM25）常因用户查询与文档的语义鸿沟（如短查询 vs 长文档、口语化 vs 专业化）导致召回率低下。双向改写（Bidirectional Rewriting）作为RAG高效召回的前沿技巧，通过**Query2Doc（查询→伪文档）与Doc2Query（文档→伪查询）**的双向转换，弥合语义鸿沟，显著提升召回率与召回多样性。

为什么需要查询/文档改写？

• 词汇不匹配（Vocabulary Mismatch）：用户用“怎么缓解焦虑？”，文档可能用“焦虑症的应对策略”。
• 表达粒度不同：用户问得笼统，文档讲得具体；或反之。
• 领域术语差异：非专业用户 vs 专业文献。
• 稀疏检索的局限性：BM25等传统方法难以捕捉深层语义。

因此，通过语义扩展与重构，使查询与文档在表示空间中更接近，是提升召回率的关键。

一、双向改写的核心定义与逻辑

在检索增强生成（Retrieval-Augmented Generation, RAG）系统中，召回阶段的质量直接决定了最终答案的准确性和相关性。传统方法通常依赖原始用户查询（query）直接与文档库进行匹配，但这种方式容易因语义鸿沟、表达差异或术语不一致而漏掉关键信息。

双向改写是一种从“查询端”与“文档端”相向而行的召回优化策略，核心逻辑是通过**大语言模型（LLM）**生成伪文档或伪查询，扩展语义匹配路径，解决传统检索的“短文本向量化差”“语义不匹配”等问题。

其核心流程可概括为两点：

1. Query2Doc：将用户短查询扩展为伪文档（包含更丰富的语义信息），用伪文档的向量替代原始查询进行检索，缓解短查询与长文档的语义差异；
2. Doc2Query：为每篇文档生成伪查询（用户可能提出的问题），将伪查询的向量与文档向量关联，使文档具备“多入口”召回能力，提升长尾文档的命中率。

二、双向改写的具体实现方法

双向改写的核心是LLM生成伪内容，以下是两种方向的具体实现步骤与技术细节：

（一）Query2Doc：查询→伪文档，缓解短查询语义不足

Query2Doc的目标是将用户短、口语化、模糊的查询转换为长、正式、信息丰富的伪文档，使查询向量与文档向量的语义空间更接近。

原理

训练一个序列到序列（Seq2Seq）模型（如T5），输入文档片段，输出多个可能的用户查询（即“该文档能回答哪些问题？”）。

1. 实现步骤

• 步骤1：生成伪文档：使用LLM（如Qwen、ChatGLM）根据用户查询生成伪文档。例如，用户查询“儿童防沉迷”，LLM生成的伪文档可能为：“儿童防沉迷是指避免儿童沉迷于网络、游戏、电子书等电子娱乐活动，保护儿童身心健康。家长应限制儿童使用电子产品的时间（每天不超过1小时），并引导其参与运动、阅读等活动。”
• 步骤2：拼接查询与伪文档：将原始查询与伪文档拼接，形成新的检索向量。拼接方式需平衡查询与伪文档的权重：
  • 稀疏检索（如BM25）：因伪文档较长，需重复原始查询（如重复5次）以提升查询词的权重，公式为：query = concat({query} × 5 + doc)；
  • 密集检索（如向量检索）：直接拼接查询与伪文档，公式为：query = concat(query + [SEP] + doc)。
• 步骤3：检索与排序：用拼接后的向量进行检索，返回Top-K结果，再通过重排序模型（如BGE-Rerank）优化排序。

2. 技术优势

• 缓解短查询向量化差：伪文档的长文本包含更多关键词，提升了短查询的语义表达；
• 缩小语义鸿沟：伪文档的风格与文档更接近（正式、专业），使查询向量与文档向量的空间更匹配；
• 提升召回率：实验显示，Query2Doc在BM25上的召回率提升3%-15%（模型规模越大，效果越好）。

📌 典型应用：MS MARCO、Natural Questions 数据集上广泛验证有效。

（二）Doc2Query：文档→伪查询，增加文档“多入口”

Doc2Query的目标是为每篇文档生成多个伪查询（用户可能提出的问题），使文档具备“多入口”召回能力，解决长尾文档（表述方式特殊、关键词少）的召回问题。

1. 原理

与 Doc2Query 相反，Query2Doc 利用语言模型（如LLM或T5）将用户查询扩展成一段假设性的“理想答案”或“相关文档内容”。

2. 实现步骤

• 步骤1：生成伪查询：使用LLM为每篇文档生成3-5个伪查询。例如，文档内容为“《民法典》第105条：自然人的民事权利能力一律平等”，LLM生成的伪查询可能为：“什么是民事权利能力？”“民事权利能力平等吗？”“民法典关于民事权利能力的规定？”。
• 步骤2：合并文档与伪查询：将文档与伪查询合并为一个集合，生成统一的嵌入向量。例如，文档“《民法典》第105条”与伪查询“什么是民事权利能力？”的向量合并，使文档具备“民事权利能力”的语义标签。
• 步骤3：检索与匹配：当用户查询“民事权利能力是啥？”时，系统不仅会匹配文档原文，还会匹配伪查询“什么是民事权利能力？”，从而召回该文档。

3. 技术优势

• 增加语义匹配路径：伪查询作为文档的“语义标签”，使文档能匹配更多形式的用户查询；
• 提升长尾文档召回率：长尾文档（如专业术语多的文档）通过伪查询覆盖更多用户提问方式，召回率显著提升；
• 无侵入性：Doc2Query在索引阶段完成，对线上检索速度无影响（伪查询的向量可预先计算并存储）。

💡 提示工程技巧：可设计 prompt 如 “请根据以下问题生成一段详细的回答：{query}”

（三） 双向改写：Query2Doc + Doc2Query 联合使用

1. 协同机制

步骤	操作	目标
离线阶段	对所有文档应用 Doc2Query，扩充索引内容	提升文档的“可检索性”
在线阶段	对用户查询应用 Query2Doc，生成增强查询	提升查询的“表达丰富度”
检索阶段	用增强查询在扩充后的索引中检索	实现双向语义对齐

2. 效果增益

• 互补性：Doc2Query 解决“文档太隐晦”，Query2Doc 解决“查询太简略”。
• 鲁棒性提升：在跨领域、低资源场景下表现更稳定。
• Recall@100 可提升 5–15%（实测于多个开源RAG基准）。

三、双向改写的技术优势与应用场景

双向改写的核心优势在于弥合语义鸿沟与扩展召回路径，其应用场景主要集中在需要高召回率的领域：

1. 技术优势

• 显著提升召回率：Query2Doc通过伪文档提升短查询的语义表达，Doc2Query通过伪查询增加文档的“多入口”，两者结合可使召回率提升20%-40%（视领域而定）；
• 缓解术语不匹配：伪文档与伪查询的风格更接近文档（专业、正式），解决了用户口语化查询与文档专业化表述的矛盾；
• 实现简单，性价比高：无需训练复杂的重排序模型，使用现有LLM（如Qwen、ChatGLM）即可实现，成本远低于传统重排序模型。

2. 应用场景

• 开放域问答系统：用户问题千奇百怪（如“苹果发布会什么时候？”），双向改写可将口语化查询转换为正式伪文档（“苹果公司发布会时间安排”），召回相关文档；
• 企业知识库/客服机器人：企业文档通常很规范（如《员工差旅费用报销流程》），用户提问很随意（如“怎么报销？”），Doc2Query生成的伪查询（“员工报销流程”）可召回该文档；
• 法律/医疗等专业领域：用户不了解专业术语（如“被车撞了怎么赔？”），Query2Doc生成的伪文档（“机动车交通事故责任纠纷损害赔偿”）可召回相关法律文档。

3. 实践建议与注意事项

3.1 模型选择

• Doc2Query：推荐使用 T5-large 微调版本（HuggingFace 上有现成模型 doc2query/msmarco）。
• Query2Doc：可用 Llama3、Qwen、Gemma 等开源LLM，配合提示词生成；或微调 T5。

3.2 计算开销权衡

• Doc2Query 是一次性离线开销，适合静态文档库。
• Query2Doc 是在线开销，需考虑延迟；可缓存常见查询结果。

避免噪声放大

• 生成内容需过滤低质量输出（如置信度过低、重复、无关）。
• 可引入重排序（Re-ranker）阶段过滤误召文档。

3.3 与稠密检索结合

• 将生成的伪查询/文档送入 embedding 模型（如 bge-large），构建混合检索系统（Hybrid Search）。

4. 对比

技术	方向	适用阶段	核心价值
Doc2Query	文档 → 查询	离线	增强文档可检索性
Query2Doc	查询 → 文档	在线	增强查询表达力
双向改写	双向协同	全流程	最大化语义对齐，显著提升召回率

在构建高性能 RAG 系统时，不要只依赖原始查询和原始文档。通过双向改写，我们让“问”与“答”在语义空间中主动靠近，从而突破传统检索的瓶颈。

🔜 未来方向：结合对比学习、自监督生成、多模态改写等，进一步优化双向对齐效果。

四、双向改写的工业实践案例

双向改写已在多个工业场景中得到验证，以下是两个典型案例：

1. 案例1：某法律咨询RAG系统（Doc2Query）

某法律咨询平台使用Doc2Query为每篇法律文档生成3个伪查询（如“离婚财产分割”“工伤赔偿标准”），合并到索引中。结果显示，召回率提升35%（尤其是长尾文档，如“2023年工伤赔偿最新标准”），用户满意度提升28%。

2. 案例2：某医疗AI助手（Query2Doc）

某医疗AI助手使用Query2Doc将用户查询“孩子半夜发烧怎么办？”扩展为伪文档（“儿童夜间发热应急处理：1. 物理降温（用温水擦浴）；2. 药物治疗（布洛芬，超过38.5℃使用）；3. 及时就医（持续高烧不退）”）。结果显示，召回率提升40%（覆盖了“儿童发热”“物理降温”等多个相关文档），问题解决率提升30%。

五、双向改写的挑战与未来趋势

尽管双向改写效果显著，但仍面临一些挑战：

1. 挑战

• 语义漂移：LLM生成的伪文档或伪查询可能存在幻觉（如“苹果发布会”生成“苹果手机发布会”），引入错误关键词，降低召回准确率；
• 耗时较长：LLM生成伪文档或伪查询需要一定时间，增加了检索延迟（尤其是Query2Doc）；
• 模型依赖：效果高度依赖LLM的性能（模型规模越大，效果越好），小模型可能导致伪内容质量下降。

2. 未来趋势

• 强化学习优化：使用强化学习（如PPO）训练改写模型，以召回率为奖励，优化伪内容的质量；
• 轻量化生成：使用小语言模型（如T5）生成伪内容，降低耗时；
• 混合检索融合：将双向改写与混合检索（向量+BM25）结合，进一步提升召回效果。

---

六、总结

双向改写是RAG高效召回的关键技术，通过Query2Doc与Doc2Query的双向转换，弥合了用户查询与文档的语义鸿沟，显著提升了召回率与召回多样性。其核心价值在于：

• 解决了传统检索的“短文本向量化差”“语义不匹配”问题；
• 实现了简单、性价比高的召回优化（无需复杂训练）；
• 适用于多个高召回需求的领域（如开放域问答、企业知识库、法律医疗）。

未来，随着LLM性能的提升与强化学习的融入，双向改写将更加成熟，成为RAG系统的标配，为企业级AI应用（如智能客服、知识管理、风险报告）提供更强大的知识支撑。