出发点：
当前多模态大语言模型（MLLMs）在视觉-语言任务中快速发展，但视觉信息通常仅来自视觉编码器的单一层，这在复杂推理、跨语言理解、细节感知与一致性判断等任务中存在明显瓶颈。尤其在视频、OCR、多阶段推理等场景中，单层视觉特征难以同时覆盖低层细节与高层语义。

解决的问题：

论文系统性研究两个长期缺乏统一结论的问题：
应当如何选择视觉编码器中的多层特征；
这些多层视觉特征应当如何与语言模型进行融合，才能稳定提升推理能力与泛化性能。

研究背景与核心问题

（一）研究背景

• 多模态大语言模型的演进趋势
  近年来，LLaVA、MiniCPM、InternVL 等模型显著提升了图像理解与多模态推理能力，但视觉分支多以单一高层特征作为输入，忽略了中低层所蕴含的结构、局部与细节信息。
• 视频与复杂视觉数据的挑战
  在视频、多视角、OCR、细粒度感知等任务中，模型需要同时处理时序信息、空间结构与跨模态语义对齐，单层视觉表示难以满足多尺度推理需求。
• 现有评估与方法的不足
  已有多层视觉融合方法往往依赖经验选择层数或位置，并通过增加模块与参数规模获得提升，难以判断性能增益究竟来自“结构改进”还是“模型变大”。

（二）核心问题

• 跨语言推理能力差异
  不同语言对视觉线索的依赖程度不同，单一视觉层可能导致推理路径在不同语言下表现不稳定。
• 语言特异性与推理路径问题
  视觉信息注入位置不同，会显著影响语言模型在推理时对视觉 token 的注意力分配，进而改变推理路径。
• 缺乏有效的推理路径选择机制
  当前方法缺乏系统分析：哪些视觉层的信息应当进入模型、在何时进入、以何种方式进入。

方法创新与贡献

1. 多层视觉特征选择机制

论文提出两种系统化的视觉层选择标准：

• 基于表征相似性的层选择（Similarity-based）
  通过分析不同层视觉特征之间的相似性，将视觉编码器划分为起始层-中间层-末端层，每一阶段选取代表性层，避免冗余信息叠加。
• 基于比例的层选择（Proportion-based）
  按照编码器深度比例划分前半层与后半层，用于对比分析不同深度信息的贡献。

关键结论：来自不同表征阶段的视觉特征组合，显著优于同一阶段的多层叠加。

2. 多模态融合策略的系统划分

论文首次从两个维度统一整理现有融合方法：

• 融合位置

• 外部融合（输入阶段融合）
• 内部融合（LLM 中间层融合）

• 融合方式

• 模块化融合（引入 Cross-Attention 等模块）
• 直接融合（无额外模块，直接相加或拼接）

并系统构建四类融合范式进行对比实验。

3. 推理能力提升的关键发现

• 外部 + 直接融合（External Direct Fusion）
  在几乎所有设置下表现最稳定、泛化性最强，对数据规模与模型选择不敏感。
• 内部融合的潜力与限制
  在大规模数据下，内部直接融合的性能显著提升，但在中小规模数据下容易受训练不稳定影响。

4. 与现有开源 / 商业模型的关系

• 相比依赖复杂模块或更大模型容量的方法，本工作不依赖额外数据扩展即可取得稳定增益。
• 提供可复用的模块化实验框架与开源代码，便于不同 MLLM 直接迁移与验证。

实验结果分析

（一）可视化分析

• 不同融合策略结构示意
  图中系统展示了单层 / 多层视觉特征获取方式，以及四种融合范式在模型中的位置关系，直观说明视觉信息对推理路径的影响。

  

• 训练稳定性与收敛性
  预训练损失曲线显示：
  多层 + 模块化内部融合在层数增加时训练明显不稳定，而直接融合保持平稳收敛。

  

• 推理一致性提升趋势
  随着训练数据规模增大，外部直接融合始终保持最高平均性能，内部融合仅在大规模数据下逐步逼近。

  

（二）消融实验分析

• 视觉层选择消融
  来自起始层 + 中间层 + 末端层的组合在 OCR、CV-centric 与推理任务中取得最优平衡。

  

• 融合方式消融
  在外部融合设置下，引入额外模块并未带来稳定收益，反而增加性能波动；直接融合在 All 层组合下取得最高平均分。

  

• 模型与编码器替换实验
  在更强视觉编码器（SigLIP）和更大语言模型下，外部直接融合依然保持领先，验证方法的可扩展性。

  

学AI大模型的正确顺序，千万不要搞错了

🤔2026年AI风口已来！各行各业的AI渗透肉眼可见，超多公司要么转型做AI相关产品，要么高薪挖AI技术人才，机遇直接摆在眼前！

有往AI方向发展，或者本身有后端编程基础的朋友，直接冲AI大模型应用开发转岗超合适！

就算暂时不打算转岗，了解大模型、RAG、Prompt、Agent这些热门概念，能上手做简单项目，也绝对是求职加分王🔋

📝给大家整理了超全最新的AI大模型应用开发学习清单和资料，手把手帮你快速入门！👇👇

学习路线:

✅大模型基础认知—大模型核心原理、发展历程、主流模型（GPT、文心一言等）特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架（LangChain等）实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经

以上6大模块，看似清晰好上手，实则每个部分都有扎实的核心内容需要吃透！

我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】