摘要

检索增强生成（RAG）通过从外部知识库检索相关信息来提升语言模型的生成能力。然而，传统的RAG方法面临丢失多模态信息的问题。多模态RAG方法通过将图像和文本映射到共享嵌入空间来融合二者，但未能捕捉知识和模态间逻辑链的结构。此外，它们还需要针对特定任务进行大规模训练，导致泛化能力有限。为了解决这些限制，我们提出了MMGraphRAG，该方法通过场景图精细化视觉内容，并结合基于文本的知识图谱构建多模态知识图谱（MMKG）。它采用谱聚类来实现跨模态实体链接，并沿推理路径检索上下文以指导生成过程。实验结果显示，MMGraphRAG在DocBench和MMLongBench数据集上达到了最先进的性能，展现了强大的领域适应性和清晰的推理路径。

我们的主要贡献如下：

1. 首款多模态GraphRAG框架：我们提出了MMGraphRAG，它将图像细化为场景图，并与基于文本的知识图谱结合，构建统一的多模态知识图谱用于跨模态推理。
2. 中英文实体对齐数据集（CMEL）：我们构建并发布了CMEL数据集，该数据集专为视觉与文本实体之间的对齐设计，解决了该领域缺乏基准测试的问题。
3. 基于谱聚类的CMEL方法：我们设计了一个跨模态实体对齐流程，通过利用谱聚类整合语义和结构信息，高效生成候选实体，从而提升CMEL任务的准确性。

核心速览

研究背景

1. 研究问题

   ：这篇文章要解决的问题是传统检索增强生成（RAG）方法在处理多模态信息时存在的缺失和不足。具体来说，现有的多模态RAG方法虽然能够通过将图像和文本映射到共享嵌入空间来实现跨模态检索，但无法捕捉模态间的知识和逻辑链，并且需要大规模特定任务的训练，导致泛化能力有限。

2. 研究难点

   ：该问题的研究难点包括：如何有效地融合图像和文本信息以捕捉模态间的结构和逻辑链；如何在不需要大规模特定任务训练的情况下提高模型的泛化能力；如何在多模态推理过程中提供可解释的推理路径。

3. 相关工作

   ：该问题的研究相关工作有：GraphRAG系列方法通过构建实体知识图和社区摘要来增强RAG系统的推理能力和可解释性；HM-RAG方法提出了一种分层多代理多模态RAG框架，但依赖于将多模态内容转换为文本；Mel方法扩展了传统的实体链接（EL）方法，将视觉信息作为辅助属性来增强实体与知识库实体的对齐；CMEL方法则进一步将视觉内容视为实体，与文本实体进行对齐，构建多模态知识图（MMKG）。

研究方法

这篇论文提出了MMGraphRAG，用于解决多模态RAG方法在捕捉模态间知识和逻辑链方面的不足。具体来说，

1. 图像到图的转换

   ：首先，使用LLM对图像进行语义分割和推理，生成细粒度的场景图。这个过程包括以下步骤：

• 使用YOLO进行语义分割，将图像划分为多个语义独立的区域（称为图像特征块）。

  

• 使用LLM为每个特征块生成文本描述。

• 从图像中提取实体及其关系。

• 将分割的特征块与提取的实体进行对齐。

• 构建全局实体以描述整个图像，并与局部实体建立连接。

2. 跨模态融合

   ：然后，通过光谱聚类算法生成候选实体对，并进行跨模态实体链接（CMEL），将文本知识图和图像知识图融合为统一的多模态知识图（MMKG）。具体步骤如下：

• 设计了一个光谱聚类算法，重新设计了加权邻接矩阵A和度矩阵D，以捕捉实体之间的语义和结构信息。
• 通过标准的光谱聚类程序，构建拉普拉斯矩阵并进行特征分解，形成矩阵Q并使用DBSCAN进行聚类。
• 对于每个图像实体，选择与其嵌入向量最相关的簇，并将其作为候选实体集。
• 使用LLM进行实体对齐，确保它们在知识图中共享统一的表示。

3. 增强剩余图像实体

   ：此外，增强未在CMEL中对齐的剩余图像实体的描述，通过整合原始文本中的相关信息来提高图像知识图的完整性。

4. 全局图像实体与相关文本实体的对齐

   ：将对齐每个图像的全局实体与相关文本实体进行对齐，如果没有找到直接匹配项，则在文本知识图中创建一个新实体以表示图像的整体语义内容。

5. 实体融合

   ：对所有对齐的实体进行语义融合，确保在MMKG中具有一致的表示，促进下游推理和检索。

实验设计

1. 数据集：构建了CMEL数据集，包含来自新闻、学术和小说三个领域的文档，确保广泛的领域多样性。CMEL数据集共包含1114个对齐实例，其中87个来自新闻文章，475个来自学术论文，552个来自小说。

   

2. 实验设置：在DocBench和MMLongBench两个多模态文档问答（DocQA）基准上进行实验。DocBench包含229个PDF文档，涵盖五个领域：学术、金融、政府、法律和新闻。MMLongBench包含135个长PDF文档，来自七个不同领域：研究、教程、学术论文、指南手册、宣传册、行政/行业文件和财务报告。

3. 评估指标：采用微观准确率和宏观准确率作为评估指标。微观准确率按实体计算，反映整体预测的正确性；宏观准确率按文档计算，减轻由于文档间实体分布不平衡引起的评估偏差。

结果与分析

1. CMEL实验结果

   ：光谱聚类方法在CMEL任务中显著优于基于嵌入和LLM的方法，微观准确率提高了约15%，宏观准确率提高了约30%。

2. 多模态文档问答实验结果

   ：在DocBench数据集上，MMGraphRAG在文本和多模态问题上的表现均优于GraphRAG，81.2对71.7，88.7对26.0。在MMLongBench数据集上，MMGraphRAG在准确性和F1分数上也显著优于其他方法，特别是在涉及图表、表格和图形的查询中表现尤为突出。

3. 跨领域适应性

   ：与所有纯文本RAG方法相比，MMGraphRAG在高视觉结构复杂度的领域（如学术和金融）表现出显著的增益，显示出其在专业领域的强大适应能力，同时保持跨领域的泛化能力。

4. 与MRAG方法的对比

   ：MMGraphRAG在多模态信息理解方面显著优于M3DOCRAG，特别是在涉及图表、表格和图形的查询中，MMGraphRAG的准确率为48.2，而M3DOCRAG为39.0。

总体结论

这篇论文提出了MMGraphRAG，一种基于知识图的多模态RAG框架，通过构建细粒度的图像知识图和跨模态融合实现了深度跨模态融合和推理。实验结果表明，MMGraphRAG在多模态文档问答任务中显著优于现有的RAG方法，展现出强大的领域适应能力和清晰的推理路径。该研究为跨模态实体链接和基于图的多模态推理框架的发展提供了新的思路。

如何学习大模型 AI ？

我国在AI大模型领域面临人才短缺，数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着Al技术飞速发展，预计到2025年，这一缺口将急剧扩大至400万，严重制约我国Al产业的创新步伐。加强人才培养，优化教育体系，国际合作并进，是破解困局、推动AI发展的关键。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

2025最新大模型学习路线

明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛，没有明确的学习路线可能会导致新人感到迷茫，不知道应该专注于哪些内容。

对于从来没有接触过AI大模型的同学，我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

针对以上大模型的学习路线我们也整理了对应的学习视频教程，和配套的学习资料。

大模型经典PDF书籍

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路！

配套大模型项目实战

所有视频教程所涉及的实战项目和项目源码等

博主介绍＋AI项目案例集锦

MoPaaS专注于Al技术能力建设与应用场景开发，与智学优课联合孵化，培养适合未来发展需求的技术性人才和应用型领袖。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

为什么要学习大模型？

2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

适合人群

• 在校学生：包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础，有志于深入AGI大模型行业，希望开展相关的研究和开发工作。
• IT行业从业人员：包括在职或失业者，涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验，至少1年以上的编程工作经验，对大模型技术感兴趣或有业务需求，希望通过课程提升自身在IT领域的竞争力。
• IT管理及技术研究领域人员：包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势，主导技术创新，推动大模型技术在企业业务中的应用与改造。
• 传统AI从业人员：包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作，现需要快速补充大模型技术能力，获得大模型训练微调的实操技能，以适应新的技术发展趋势。
  

课程精彩瞬间

大模型核心原理与Prompt：掌握大语言模型的核心知识，了解行业应用与趋势；熟练Python编程，提升提示工程技能，为Al应用开发打下坚实基础。

RAG应用开发工程：掌握RAG应用开发全流程，理解前沿技术，提升商业化分析与优化能力，通过实战项目加深理解与应用。

Agent应用架构进阶实践：掌握大模型Agent技术的核心原理与实践应用，能够独立完成Agent系统的设计与开发，提升多智能体协同与复杂任务处理的能力，为AI产品的创新与优化提供有力支持。

模型微调与私有化大模型：掌握大模型微调与私有化部署技能，提升模型优化与部署能力，为大模型项目落地打下坚实基础。

顶尖师资，深耕AI大模型前沿技术

实战专家亲授，让你少走弯路

一对一学习规划，职业生涯指导

• 真实商业项目实训
• 大厂绿色直通车

人才库优秀学员参与真实商业项目实训

以商业交付标准作为学习标准，具备真实大模型项目实践操作经验可写入简历，支持项目背调

大厂绿色直通车，冲击行业高薪岗位

文中涉及到的完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】