大模型时代多模态空间推理研究综述：从二维到三维，再到具身智能和新兴模态！

本文系统综述了大模型时代的多模态空间推理研究，分类总结了多模态大语言模型(MLLMs)的最新进展，并介绍了开放评测基准。文章从传统二维任务到三维空间推理，再到具身智能和新兴模态（如音频与自我中心视频），全面探讨了空间推理的各个层面。这项研究为多模态空间推理这一快速发展领域提供了坚实基础和宝贵洞见，相关资源已开源。

网安福宝

761人浏览 · 2025-11-03 09:45:00

网安福宝 · 2025-11-03 09:45:00 发布

摘要——人类具备空间推理能力，能够通过视觉、听觉等多模态感知来理解空间。大型多模态推理模型通过学习感知与推理，扩展了人类的这些能力，并在多种空间任务中展现出令人鼓舞的性能。然而，针对这类模型的系统性综述与公开可用的基准仍然十分有限。本文对基于大模型的多模态空间推理任务进行了全面回顾，对多模态大语言模型（Multimodal Large Language Models, MLLMs）的最新进展进行了分类总结，并介绍了相应的开放评测基准。我们首先概述了一般性的空间推理，重点讨论了后训练技术、可解释性以及模型架构。除传统的二维任务外，我们进一步探讨了空间关系推理、场景与布局理解，以及三维空间中的视觉问答与视觉指向（grounding）。此外，我们回顾了具身智能（Embodied AI）领域的最新进展，包括视觉-语言导航与动作模型。与此同时，我们还关注了新兴模态，如音频与自我中心（egocentric）视频，这些模态通过新型传感方式为空间理解提供了新的视角。我们相信，本综述为多模态空间推理这一快速发展的研究领域奠定了坚实的基础，并提供了有价值的研究洞见。有关本综述的最新信息、代码及开放基准的实现，请参见：https://github.com/zhengxuJosh/Awesome-Spatial-Reasoning。

关键词——空间推理，多模态大语言模型，综述，基准

I. 引言

A. 背景

空间推理是人类的一项基本能力，使个体能够通过视觉、听觉等多模态输入来理解并与世界交互。它支撑了诸如导航、理解物体间关系以及空间情境下的问题求解等能力，如图1所示。尽管大语言模型（LLMs）在文本处理与生成方面取得了显著进展 [56]，但由于其主要是单模态设计，其空间推理能力仍然有限 [57]。将图像、音频、视频等多模态信息融入语言模型，为增强空间推理能力提供了新的机遇，尤其是对于那些需要深层理解复杂真实场景的任务 [58–64]。

大型多模态推理模型（Large Multimodal Reasoning Models）应运而生，作为一种有前景的解决方案。这类模型通过在多种模态上进行联合感知与推理训练 [65–69]，在从二维空间关系理解到更复杂的三维空间推理等广泛任务中展现出卓越性能。然而，尽管该领域发展迅速，目前仍缺乏对多模态空间推理模型的系统性综述与性能评测框架。

B. 本文贡献

本文旨在填补这一空白，对基于大模型的多模态空间推理现状进行系统梳理与总结，如图2所示。我们首先回顾空间推理的总体研究格局，重点关注后训练技术 [15,16]、模型可解释性 [21] 与架构设计 [19] 等关键要素。在超越传统二维任务 [10] 的基础上，我们进一步探讨了更高层次的空间推理形式，包括空间关系推理 [40]、场景与布局理解 [5] 以及三维空间中的视觉信息指向（grounding）[28]。此外，本文还关注空间推理与具身智能（Embodied AI）任务的交叉领域 [41]，涵盖视觉-语言导航（Vision-Language Navigation）与动作模型 [45]，其中模型需基于多模态输入在动态环境中执行任务。

我们进一步将讨论扩展至新兴模态的融合，如音频与自我中心（egocentric）视频，这些模态在新型传感环境中为空间理解提供了新的机会 [70,71]。除文献综述外，本文还引入了开放基准（open benchmarks），用于评测多模态大语言模型（MLLMs）在空间推理任务中的表现。这些基准旨在推动模型评估标准化，为未来研究提供可靠参考，并促进不同模型之间的公平比较。

我们相信，本综述将成为多模态空间推理研究领域的重要参考，为未来的研究奠定坚实基础。此外，我们在 https://github.com/zhengxuJosh/Awesome-Spatial-Reasnoning 提供了相关代码、实现与最新信息，以进一步推动该领域的发展。通过本工作，我们希望为基于大模型的多模态空间推理提供关键挑战与未来机遇的洞见，鼓励更多探索与创新。

C. 相关工作

近年来，大量研究将视觉、音频及其他模态与文本模型结合，以实现更丰富的二维与三维空间推理。尽管已有若干综述关注相关方向，但在多模态空间任务方面仍存在显著空缺。例如，Wang 等人 [73] 研究了小规模推理模型，但其重点集中于单模态、低复杂度任务；Ke 等人 [74] 分析了推理扩展与智能体系统（agentic systems），但未深入探讨多模态空间推理；Zha 等人 [57] 强调了三维能力，但更关注实现细节，而非跨模态评估。更广义的综述如 Bi 等人 [75] 总结了多模态研究进展，但未提出系统的空间理解基准或评测框架以应对动态、真实世界场景。

本综述聚焦“大模型时代的多模态空间推理”，通过系统分类空间任务（如关系推理、场景理解、三维视觉指向），融合新兴模态（音频、自我中心视频），并提出缺失已久的开放基准与评测协议，为推动多模态空间推理的研究与实践提供集中、系统的参考。

II. 问题设定：多模态空间推理（Multimodal Spatial Reasoning）

定义
多模态空间推理旨在从异质输入中推断空间关系、位置与动作，并生成在空间中可验证的输出。形式化地，给定输入

X={ximg,xvid,xpc,xaud,xtext,…}X = {x_{img}, x_{vid}, x_{pc}, x_{aud}, x_{text}, \ldots}X={ximg,xvid,xpc,xaud,xtext,…}

（如 RGB 图像、视频、点云、音频、文本等），在特定参考系（2D/3D/自我中心 ego / 外部 allo）下，模型预测输出 YYY，包括：(i) 文本答案或推理解释；(ii) 几何量（边框、姿态、轨迹等）；(iii) 具身场景下可执行的动作或规划。这一统一框架涵盖了经典的视觉问答（VQA）、三维指向、导航及场景/布局生成等任务 [19,35,37,94,95]。

A. MLLMs中的空间推理类型

MLLMs 的空间推理能力涵盖从基础定位到高级场景建模的多个层面，主要类型包括：

定位与记忆（Localization & Memory）：在二维/三维空间中定位目标相对位置及随时间变化的状态。
关系与几何（Relation & Geometry）：推理空间关系（如上/下、左/右）及度量属性（如距离、角度、面积、体积）。
导航与问题求解（Navigation & Problem Solving）：规划路径与优化动作（如最短路径、空间谜题求解）。
模式与视角（Pattern & Perspective）：识别空间模式、对称性，并在多视角间进行推理。
尺度与缩放（Scaling & Resizing）：建模尺寸变化并保持比例一致性。
变换（Transformation）：在保持空间关系的前提下执行旋转、平移、缩放等操作。
语境化（Contextualization）：在环境上下文中解释位置（如房间 vs. 太空舱）。
三维模型生成（3D Model Generation）：根据空间线索合成三维形状或场景。
环境建模（Environmental Modeling）：构建场景或世界模型，用于预测与决策。
感知与交互（Sensing & Interaction）：通过传感与视觉支持实时空间交互（如增强现实）。

这些能力共同支撑了从导航、仿真到交互系统等多种应用场景。

B. 空间推理的评测协议

评估 MLLMs 的空间推理能力应考察其准确性、鲁棒性、可解释性与泛化能力，主要维度包括：

多模态融合性：测试多种模态组合（图像、文本、音频、深度/点云、传感器数据）下的跨模态推理能力。
任务覆盖度：包含 VQA、三维定位、地图导航、具身规划及场景/图像生成等多层推理任务。
过程可解释性：通过注意力可视化、中间状态或推理链分析揭示空间关系的编码与操作过程。
泛化与鲁棒性：在分布外场景（新布局、未知环境、扰动）中测试模型适应性。
交互与具身测试：衡量模型在实时导航、操作及 AR/VR 中的表现，包括响应性与在线更新能力。
基准标准化：构建可复现的评测套件，覆盖受控合成任务与真实场景。

涵盖这些维度的系统评测有助于全面比较 MLLMs 的空间推理能力，揭示其优劣与适用边界。

研究路线（Roadmap）
接下来，我们将基于上述问题设定，按应用层次展开分析：(1) 通用二维图像/视频任务中的 MLLMs；(2) 三维空间推理（指向、问答、导航）；(3) 具身空间推理（视觉-语言导航、视觉-语言动作、世界建模）；以及 (4) 新兴模态与跨域场景。各部分均对应前述分类体系与评测维度，形成完整的空间推理研究版图。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一直在更新，更多的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

在这里插入图片描述