25年8月来自华南师范大学和北大的论文“Multimodal Data Storage and Retrieval for Embodied AI: A Survey”。

具身人工智能 (EAI) 智体持续与物理世界交互，生成海量异构多模态数据流，而传统的管理系统难以应对这些数据流。本综述首先系统地评估五种存储架构（图数据库、多模型数据库、数据湖、矢量数据库和时间序列数据库），重点关注它们是否能够满足 EAI 的核心需求，包括物理基础、低延迟访问和动态可扩展性。然后，分析五种检索范式（基于融合策略的检索、基于表示对齐的检索、基于图结构的检索、基于生成模型的检索和基于高效检索的优化），揭示实现长期语义一致性与保持实时响应能力之间的根本矛盾。

基于此全面分析，识别关键瓶颈，涵盖从基础的物理接地差距到跨模态集成、动态自适应和开放世界泛化方面的系统性挑战。最后，概述一项前瞻性的研究议程，涵盖物理-觉察的数据模型、自适应存储-检索协同优化和标准化基准测试，以指导未来研究，为 EAI 提供原则性的数据管理解决方案。本调查基于对 180 多项相关研究的全面回顾，为设计下一代自主具身系统所必需的稳健、高性能数据管理框架提供严谨的路线图。

---

在人工智能的各个子领域中，具身智能是指通过直接与物理环境交互进行学习的智体。许多研究人员认为，具身人工智能对于实现通用人工智能至关重要 [1], [2]。与依赖抽象计算和海量数据集的传统人工智能不同，具身人工智能强调智体在现实环境中制定和调整行为的能力 [3]。除了像 ChatGPT 这样的对话系统之外，通用人工智能 (AGI) 的全面愿景还包括控制物理智体并与模拟和现实环境进行深度交互的能力 [4], [5], [6]。这些被称为具身人工智能 (EAI) 智体的实体涵盖了广泛的物理形态（如图所示），从静态工业手臂和仿生微型机器人到复杂的人形和移动平台，不一而足。这种多样性并非表面现象；它从根本上决定了每个智体生成的、与世界交互必须处理的多模态数据的性质和复杂性。

模型的泛化能力很大程度上受其训练数据的大小和质量影响。规模化定律表明，较大的模型需要更多的数据才能实现复杂的环境适应和鲁棒的任务泛化 [8]。然而，Lin [9] 的研究表明，泛化能力随环境多样性和目标数量呈幂律增长。这表明多样性往往比单纯的数量更为重要：一旦每个环境或目标的样本数量达到阈值，额外的演示带来的收益递减。

然而，除了单纯的规模之外，EAI 还带来了以数据为中心的独特挑战。首先，智体必须连续循环处理异构数据流，包括感官输入（例如视觉、触觉）、运动指令和环境反馈，以实现实时学习和自适应 [3]。其次，它们在复杂、动态的环境中运行，数据特征可能发生不可预测的变化。这不仅对数据量提出了严格的要求，而且对其质量和情境相关性也提出了严格的要求，尤其是在自动驾驶等安全关键型应用中。随着模型规模的扩大，高质量数据的有效收集、管理和处理正成为阻碍该领域发展的核心瓶颈。

从实时处理 TB 级传感器数据的自动驾驶汽车，到需要完美数据传输以进行远程手术的手术机器人，具身智能体现在各种数据密集型应用中。这些代表性场景，凸显了对先进的多模态数据存储和检索技术的迫切需求——这正是本综述的重点。

为了提供结构化的概述，在下表给出战略总结。该表重点介绍关键技术范式、在 EAI 中的战略作用、核心功能、权衡利弊以及未来的研究前沿。它为后续章节的深入讨论提供了路线图。

具身智能的理论基础

具身智能的概念基础可以追溯到人工智能研究的早期。图灵在其1950年的论文《计算机器与智能》[10]中提出了两种互补的范式：一种强调抽象计算，另一种则为机器配备传感器，使其能够通过直接交互进行学习（参见下表的比较）。

在1991年的论文《无表征的智能》[16]中，罗德尼·布鲁克斯挑战经典的人工智能理论，他表明复杂的行为可以从简单的身体与环境的交互中产生，而无需丰富的内部模型。他的“行为主义智能”框架启发许多自主机器人的设计，并促进了对“底层智能”的研究，在“底层智能”中，分层的感知运动反应会引发更高层次的行为。

1999年，罗尔夫·普菲弗 (Rolf Pfeiffer) 和克里斯蒂安·谢尔 (Christian Schell) 在《理解智能》(Understanding Intelligence) [17] 中扩展了这一观点，提出了“物理智能”的概念。他们认为，智能源于智体的身体结构及其环境，而非仅仅源于类似大脑的计算。他们的“形态计算”概念展示如何利用智体的物理形态来简化控制和感知任务。

EAI 从简单的反应式控制器演变为复杂的多模态智体，这在现实世界中带来了重大的数据管理挑战。以下会阐述推动对高级存储和检索解决方案需求的关键应用场景。

EAI 中的代表性应用场景

为了开展调查，首先考察现实世界中的具身系统如何在多个关键领域生成、存储和查询海量多模态数据流。

工业制造

在工业制造领域，具身智能正在推动机器人从单纯的主动能力发展到真正具备工作能力 [18]。例如，使用 ChatGPT 等框架来控制机械臂、无人机和移动机器人 [19] 需要实时集成各种数据。为了提高安全性和效率 [20]，危险环境中的机器人必须融合用于导航的视觉数据、用于操控的触觉数据，以及通常用于人机协作的语言数据。核心数据管理挑战在于同步处理这些数据流以便立即采取行动，同时归档交互日志以便进行长期流程优化和技能改进，尤其是在像可演进装配系统 [21] 这样产量低、变化多端的生产环境中。
自动驾驶
自动驾驶体现了对多模态数据生态系统的严苛要求，它既需要超低延迟的本地感知，也需要海量离线存储库，以实现长期学习和模拟。KITTI [22] 等早期基准测试确立了该领域的评估规范，为现代大规模多传感器数据集铺平了道路。这些数据集包括 nuScenes [23] 和 Waymo 开放数据集 [24]，它们提供摄像头、激光雷达和雷达数据流，支持稳健的感知、跟踪和预测研究。当代研究已从单车感知扩展到协作式 V2X 重建和编辑：例如，CRUISE [25] 演示了分解的高斯-溅射（GS）表示，以跨基础设施和车辆协作地重建和编辑驾驶场景。这直接推动支持分布式索引、低延迟跨智体查询和保真压缩数据架构的发展。以特斯拉 AutoPilot “HydraNet”[26]为例，该系统能够采集高分辨率视频流，需要两个互补的数据层：1）超低延迟存储和检索层，用于安全-关键的实时感知和控制；2）海量可扩展存储库，用于离线分析、仿真和下一代驾驶模型的训练。

服务机器人

服务机器人进一步体现了这些需求，例如：
1）物流和仓储：Agility Robotics 的人形机器人 Digit 能够在仓库中自主导航，需要持续处理视觉和本体感受数据以保持平衡并在动态空间中导航。
2）家庭和个人助理：在家庭环境中，像 Mobile ALOHA [27] 和 ALOHA2 [28] 这样的机器人通过将视觉数据与细粒度的触觉反馈融合在一起，实现灵巧的操作，从而执行复杂的家务。
3）社交和陪伴机器人：为了提供情感陪伴，像 LOVOT 这样的社交机器人必须解读细微的、实时的多模态线索，包括视觉（例如面部表情）和听觉（例如语调）信号，以便有效地与用户互动 [29]，[30]。

在所有这些服务应用中，一个常见的数据挑战是长期非结构化交互数据的管理，这对于在动态的人类环境中实现稳健的终身学习和适应至关重要。

其他领域

在医疗保健领域，达芬奇手术机器人需要高度可靠、低延迟地访问高清立体视频和触觉信号，以进行远程操作。此外，心理治疗和老年护理中的辅助机器人，处理高度敏感的多模态数据，引发了严重的隐私和合规性问题 [31]。最近的研究也强调在线自适应融合在临床环境中的价值。TTTFusion [32] 采用测试时训练来适应多模态医学图像融合并提高部署时的鲁棒性。林业和农业同样依赖于强大的传感器处理，其应用范围从树间运动机器 [33] 到用于除草的农业机器人 [34]，[35]，它们必须在复杂的自然环境中导航和操作。这些领域的主要数据挑战是保证管理高风险、基于环境的数据的可靠性、安全性和准确性。

多模态数据的定义和类型

多模态数据是指不同数据类型的整合，例如视觉、语言、听觉、触觉，甚至嗅觉。每种数据类型都提供独特且互补的信息，这些信息可以组合起来以增强对系统的理解。例如，在操作任务中，来自摄像头的视觉数据捕捉物体的位置和外观，而来自触觉传感器的触觉反馈则揭示其纹理和硬度。融合这些数据流可以创建一个比任何单一模态所能提供的更为全面的环境模型。

如图概念性地概述了这些关键的感知模态及其相应的数据源。本综述探讨了 EAI 数据管理中的一个基本挑战，即如何有效地存储和检索这些彼此独立但又相互关联的数据流。

多模态数据在具身智能中的作用

随着EAI智体的日益先进，多模态数据发挥着日益关键的作用。如图所示，尖端人形机器人的功能从根本上得益于视觉、本体感觉和触觉反馈等高维数据流的实时融合。这些并发数据流对于平衡、导航和动态决策等复杂任务至关重要。然而，这些数据的庞大数量、高速度和多样性给底层存储和检索系统带来了巨大的挑战——这正是本综述的核心主题。

具体而言，多模态数据在四个关键方面增强了EAI智体的功能。

增强环境-觉察

多模态数据的主要作用是增强 EAI 智体的环境-觉察，这对于做出明智的决策至关重要。自动驾驶就是一个清晰的例证：来自摄像头的视觉数据提供有关道路标志、交通信号灯和其他车辆的信息 [53]，而警报器等听觉信号则会提醒系统注意摄像头外的紧急情况。同时，来自振动传感器的触觉数据可以告知车辆路况。这些模态的融合构建了一个稳健而全面的世界模型，与任何单模态系统相比，其安全性和可靠性显著提高。

提升任务理解能力

多模态数据对于智体准确理解复杂且通常未明确规定的人类任务至关重要。以一个医疗援助机器人为例：它可能会接收诸如“协助重新定位患者”之类的口头命令，同时解读医生的指向手势以了解目标位置 [54]。触觉反馈可确保施加的力是安全的，而对患者面部表情的视觉分析可以实时反馈患者的舒适度 [55]。这种口头指令、非口头提示和身体反馈的整合，使系统能够消除命令歧义，并以更高的精度和安全性执行任务。

优化决策和行动

在 EAI 中，有效的决策和行动执行依赖于丰富的感知数据和任务理解的综合。例如，在工业自动化中，视觉提供工件的位置、形状和颜色，从而引导机器人的抓取。然后，触觉反馈会调节抓取力以防止损坏。同时，系统可以接收来自人类操作员的口头指令，例如“拾取特定工件”[56]。在危险环境中，嗅觉甚至可以检测到化学品泄漏，从而立即触发安全协议。这种多数据流的融合使工业操作更加精确、高效和安全。

增强用户交互

自然有效的人机交互从根本上来说是一种多模态交互。例如，在智能教育领域，智能体可以通过语音识别回答学生的口头问题 [57]。同时，其视觉系统可以通过分析学生的面部表情和姿势来评估学生的参与度。触觉界面允许触觉交互，例如学生在屏幕上操纵虚拟目标。通过整合这些通道，EAI 系统可以更准确地推断用户的意图和情绪状态，从而提供更加个性化和自适应的体验。

总之，多模态数据在具身智能中发挥着不可替代的作用。通过融合多种模态数据，具身智能系统可以更准确地感知环境、理解任务、做出决策、执行操作并与人类交互。随着融合技术的进步，EAI 系统的性能和应用范围将不断扩展。然而，这一进步的根本制约因素在于底层数据基础设施能否高效地存储、检索和同步这些复杂的数据流。

。。。。。。待续。。。。。。