本文详细介绍了多模态RAG系统的两种实现方式：间接表示法（通过文本模态表示其他模态数据）和直接表示法（将不同模态映射到统一向量空间）。文章还探讨了多模态融合（早、中、晚期融合）和跨模态对齐（显式、隐式对齐）等关键技术。多模态RAG需要专门的多模态Embedding模型，能够充分利用不同模态间的互补性，是未来AI发展的重要方向。

前排提示，文末有大模型AGI-CSDN独家资料包哦！

“ 多模态RAG的实现有两种方式，一种是直接表示法，另一种是间接表示法。”

在RAG系统中，需要经过检索召回和生成两个阶段，同样在多模态RAG中亦是如此；在文本RAG中，通过语义相似度可以实现语义检索，但在多模态RAG中，由于涉及到多种模态的数据(文本，图片，视频，音频)，因此其并不能直接使用语义检索。

这时怎么实现多模态的数据检索就成了一个难题，因此现在的多模态RAG是怎么解决这个问题的呢？

多模态检索

在多模态系统中，由于不同模态的数据存在很大差别，并不能直接用来比较或检索，因此这时就需要一种办法来打破不同模态数据之间的隔阂，让它们能够进行比较与检索。

这玩意就类似于，我无法直接比较一只羊和一袋米，但是我可以通过两者之间的价格进行比较；既然多模态数据的格式不同，所在的维度也不同，那么我们就把它们统一到一个维度里面，这就是多模态检索的实现思路。

在实际的操作过程中，实现这个目的有两种方式，一种是间接表示法，另一种是直接表示法。

所谓的间接表示法，就是用文本模态来表示其它模态的数据；因为文本模态最通用，不论其它任何模态的数据都可以用文本模态来描述。所以，我们可以用文本模态作为中间模态，把其它模态的数据用文本表示之后，再进行相似度检索。

当然，在多模态数据中，不同模态之间的表示可以有多种不同类型的选择；如视频本质上就是动起来的图片，因此视频和图片之间也可以用图片作为中间模态进行检索。音频与文字亦是如此。

其次，就是直接表示法，所谓的直接表示就是把不同模态的数据直接映射到统一向量空间，使得不同模态中语义相似的内容在向量空间中距离最近，其代表作就是openai的Clip多模态模型。

这种方式就是前面所说的，既然大家维度不同，那我们就把大家映射到一个维度上，这样问题就解决了。这也是为什么多模态RAG需要用到专门的Embedding模型。

而要实现这种统一向量空间映射，需要使用多种多模态相关的技术，如多模态表示，多模态融合，跨模态对齐等。

其中，多模态融合又分为三种不同的方式，分别为：

• 早期融合：将原始数据拼接后输入模型（如RGB-D图像的像素级合并）
• 中期融合：在特征提取后进行模态对齐（如Transformer的跨模态注意力机制）
• 晚期融合：对独立模态的预测结果进行决策级融合（如加权投票）

多模态融合能够充分利用不同模态之间的互补性，它将抽取自不同模态的信息整合成一个稳定的多模态表征。

跨模态对齐是通过各种技术手段，实现不同模态数据在特征，语义或表示层面上的匹配与对应。跨模态对齐主要分为两大类：

• 显示对齐：直接建立不同模态之间的对应关系，包括无监督对齐和监督对齐
• 隐式对齐：不直接建立对应关系，而是通过模型内部机制隐式地实现跨模态对齐，主要包括注意力对齐和语义对齐。

总之，随着人工智能技术的发展，多模态必定是未来发展的主要方向，但具体怎么实现以及怎么更好的实现多模态，却还是一个值得研究的课题。

本人创建了一个大模型应用学习交流的社群，入群需要缴费19.9，仅此一次不会后续收费，目的是为了防止有人乱发广告，并保持社群的活性；一周内可以免费退群，但乱发广告不退费，并直接踢出。

并且，对RAG或Agent应用遇到问题的企业人员，也可以和作者咨询讨论，作者提供相关的企业服务，详情可以添加作者进一步了解。

如下是社群中问题讨论的内容记录

读者福利：倘若大家对大模型感兴趣，那么这套大模型学习资料一定对你有用。

针对0基础小白：

如果你是零基础小白，快速入门大模型是可行的。
大模型学习流程较短，学习内容全面，需要理论与实践结合
学习计划和方向能根据资料进行归纳总结

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

这里我们能提供零基础学习书籍和视频。作为最快捷也是最有效的方式之一，跟着老师的思路，由浅入深，从理论到实操，其实大模型并不难。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓