本文提出Think-on-Graph(ToG)框架，通过"LLM⊗KG"紧耦合范式，让大语言模型与知识图谱协同进行多跳推理。ToG在推理路径上迭代执行波束搜索，动态探索实体和关系，有效解决LLM幻觉问题，提供可解释的推理过程。实验表明，ToG在复杂知识密集型任务上性能显著提升，且无需额外训练即可部署，为解决大模型深度推理难题提供了新思路。

概览

• 论文标题:Think-on-Graph: deep and responsible reasoning of large language model on knowledge graph
• 论文链接:https://arxiv.org/pdf/2307.07697.pdf
• 代码链接:https://github.com/IDEA-FinAI/ToG
• 发表会议:ICLR 2024

一、研究背景

• LLM 的局限性：大型语言模型虽在多种任务中表现出色，但存在幻觉问题，尤其在需要深度推理的场景中：

• 难以处理超出预训练知识范围的问题或多跳推理问题；
• 缺乏可解释性和知识溯源能力，且知识更新成本高、速度慢。

• 现有LLM与KG结合的不足：传统“LLM ⊕ KG”范式中，LLM仅将问题转换为KG搜索命令(如SPARQL)，不直接参与图推理，其效果依赖 KG 的完整性。若KG存在缺失关系(如“多数成分”)，则无法生成正确答案。
• 新范式的提出：针对上述问题，提出“LLM ⊗ KG”紧耦合范式：LLM 作为智能代理，与KG协同工作，在推理的每一步动态探索KG中的实体和关系，补充彼此能力(例如通过KG中的三元组和LLM固有知识共同补全缺失信息)。

二、核心方法

ToG是“LLM ⊗ KG”范式的具体实现，通过LLM在KG上迭代执行波束搜索，动态探索推理路径，具体流程如下：

2.1 ToG核心步骤

• 初始化：给定问题，ToG利用底层大语言模型定位知识图谱上推理路径的初始实体，即自动提取问题中的主题实体，获取问题的Top-N主题实体(主题实体数量可能少于N) ，以此初始化Top-N推理路径。
• 探索：在第D次迭代开始时，每条路径由D-1个三元组组成(每完成1次迭代，推理路径会增加1个三元组；因此第D次迭代开始时，累计完成了(D-1)次迭代，路径长度为(D-1)个三元组)。探索阶段旨在利用LLM从当前顶级实体集的相邻实体中识别最相关的顶级实体，扩展顶级推理路径。该阶段包含关系探索和实体探索两个子步骤：

• 关系探索：深度为1、宽度为N的波束搜索过程，由搜索和剪枝组成。搜索时，为每个推理路径搜索链接到尾部实体的关系并聚合成集合；剪枝时，利用LLM根据问题文字信息从候选关系集中选择出新的以尾部关系结尾的Top-N推理路径。

  问题：“姚明曾效力的NBA球队位于美国哪个州？”
  

• 实体探索：同样由搜索和剪枝构成。搜索时，依据关系探索得到的新推理路径和尾部关系集，查询探索候选实体集并聚合；剪枝时，利用LLM选择新的以特定尾部实体结尾的Top-N推理路径。完成两个探索后，重建长度增加1的新顶级推理路径。

  问题：“姚明曾效力的NBA球队位于美国哪个州？”
  

• 推理：LLM 评估当前推理路径是否足够回答问题。若足够，则生成答案；否则重复探索，直至达到最大深度或得出结论。若达到最大深度仍无结论，ToG仅依据LLM固有知识生成答案。
• 调用大模型次数：整个推理过程包含D个探索阶段、D个评估步骤和1个生成步骤，最多需要2ND(关系探索+实体探索)+D(评估)+1(生成)次调用LLM。

2.2 ToG-R核心步骤

• 初始化：给定问题后，ToG-R利用底层大语言模型定位知识图谱上推理路径的初始实体，即从问题中提取主题实体，以此作为推理的起点，形成初始关系链集合。与ToG不同，ToG-R探索的是由主题实体开始的前N个关系链，而非基于三元组的推理路径。
• 探索：

• 关系搜索：在第D次迭代开始时，根据第D-1次迭代的尾实体的链接，通过执行预定义的查询来获得关系候选集。接着，利用LLM从候选集中挑选出以某尾关系结束的top-N推理路径，完成关系剪枝，从而确定本轮迭代中较为重要的关系，为后续实体探索提供方向。

  问题：“故宫的建造者是谁？”
  

• 实体搜索：依据关系探索得到的新推理路径和尾部关系集，查询探索候选实体集并聚合。与ToG不同的是，ToG-R在此处不会利用LLM进行筛选，而是随机从候选集中采样N个实体，作为新的以特定尾部实体结尾的推理路径，这是ToG-R与ToG的主要区别之一，通过随机采样来简化流程，减少LLM的调用次数。

  问题：“故宫的建造者是谁？”
  

• 推理：使用LLM评估当前推理路径是否包含足够信息回答问题。若足够，则直接基于当前路径生成答案；否则继续执行关系探索、实体探索和推理步骤，直至路径长度达到最大深度。若达到最大深度仍无法回答问题，则基于语言模型的固有知识生成答案。
• 调用大模型次数：相较于ToG，ToG-R最多需要调用ND+D+1次LLM。

三、优缺点及改进方向

3.1 优点

• 增强深度推理能力：ToG通过多跳推理路径，显著提升了LLM在复杂知识密集型任务中的表现。例如，在GraiQA和Zero-Shot RE数据集上，ToG的性能分别提升了51.8%和42.9%。
• 知识可追溯性：ToG提供了清晰的推理路径，使得推理过程可追溯、可解释，便于用户理解和修正错误，这种特性在需要高可信度的场景中尤为重要 。
• 灵活性和效率：ToG是一个插件式框架，可以与多种LLM和知识图谱兼容。它还通过波束搜索和剪枝策略，减少了不必要的计算开销，提高了推理效率 。
• 无需额外训练：ToG不需要对LLM进行额外的微调，即可在现有模型上部署，降低了部署成本 。
• 提升性能：在多个基准数据集上，ToG的性能显著优于传统方法，如Chain-of-Thought和Self-Consistency等。例如在CWQ数据集上，ToG的表现比CoT提高了17.47%。

3.2 不足

• 计算成本较高：尽管ToG通过波束搜索和剪枝策略优化了效率，但其多跳推理过程仍然需要较高的计算资源。特别是在大规模知识图谱上，推理路径的生成和评估可能非常耗时。
• 知识图谱的不完整性：ToG的性能依赖于知识图谱的质量和完整性。如果知识图谱中存在缺失或错误的信息，可能会导致推理路径的偏差或错误。
• 对LLM的依赖性：ToG的性能在很大程度上依赖于LLM的推理能力。如果LLM本身存在局限性(如幻觉问题)，则ToG的输出也可能受到影响。
• 路径选择的不确定性：虽然ToG通过波束搜索生成多个推理路径，但最终答案的选择仍然依赖于评分模型。如果评分模型不够强大，可能会导致错误的答案被选中。

3.3 改进方向

• 优化评分模型：目前ToG使用的评分模型在某些情况下可能不够强大，导致错误的答案被选中。
• 引入外部反馈机制：ToG可以结合人工反馈或专家知识，进一步优化推理路径的选择。例如通过人工审核和修正知识图谱中的错误信息，可以提高推理的准确性和可信度 。
• 扩展知识图谱的覆盖范围：ToG的性能受限于知识图谱的完整性。未来可以探索如何动态更新和扩展知识图谱，以覆盖更多领域和场景。
• 结合其他推理方法：ToG可以与其他推理方法(如Chain-of-Thought、Tree of Thoughts等)结合，形成更强大的推理框架。例如，ToG可以作为主推理引擎，而其他方法作为辅助工具，以提高推理的多样性和鲁棒性。
• 优化计算效率：ToG的多跳推理过程可能较为耗时。未来可以探索更高效的图搜索算法，如基于采样的方法或近似推理技术，以减少计算开销。

四、总结

ToG通过“LLM ⊗ KG”范式实现了LLM与KG的深度协同，提升了LLM的深度推理能力、可解释性和知识更新效率。其免训练、低成本、高性能的特点，为解决LLM幻觉问题和知识密集型任务提供了新方案。

---

如何系统学习掌握AI大模型？

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 大模型行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】