从李飞飞的World Labs到Cambrian-S，解密空间智能的破局之路

空间智能，https://drfeifei.substack.com/p/from-words-to-worlds-spatial-intelligenceCambrian-S: Towards Spatial Supersensing in Videohttps://arxiv.org/pdf/2511.04670

最近AI圈有两篇重磅文章刷屏：李飞飞亲自撰文阐述空间智能愿景，以及她与谢赛宁、LeCun联手发布的Cambrian-S论文。这两篇文章像是一枚硬币的两面——一面描绘宏伟蓝图，另一面给出技术路径。今天咱们就来深度解读这场可能重塑AI未来的"空间革命"。

一、空间智能：AI缺失的"半壁江山"

李飞飞在博客中打了个生动的比方：当前的大语言模型就像 “黑暗中的文匠” ——能言善辩却缺乏经验，知识丰富却脱离现实。GPT-4能写代码、做论文，但让它判断"倒车入库时车尾离路缘还有多远"，它立马抓瞎。

这背后暴露的是AI的根本短板：空间智能。人类95%的日常生活决策都依赖它：

• 你闭眼也能把咖啡倒进杯子，靠的是空间预判
• 消防员在浓烟中凭"职业直觉"逃生，靠的是空间记忆
• 甚至考古学家通过阴影算出地球周长，也是空间推理的胜利

但现有AI呢？多模态模型在估算距离、方向、大小任务上"略高于随机水平"，生成的视频"数秒后就失去连贯性"。就像维特根斯坦说的"语言的界限就是世界的界限"——没有空间智能，AI永远被困在二维像素和文本序列的牢笼里。

二、World Labs的野心：从"下一token"到"下一世界"

李飞飞创办的World Labs给出了破局方向：世界模型（World Model）。这不是简单的3D版GPT，而是具备三大超能力的AI新物种：

1. 生成性：能创造在物理、几何、动态上一致的三维世界
2. 多模态性：无缝理解图像、视频、深度图、文本、动作指令
3. 交互性：输入动作→预测下一世界状态，实现真正的"世界模拟器"

这套框架直接剑指AGI的终极形态。正如她所说："语言只是人类认知中一种纯粹的生成现象，而’世界’遵循着远为复杂的规律。"想象一下，如果AI能模拟出无数个遵循物理定律的虚拟宇宙，那机器人训练、药物研发、气候建模将发生怎样的革命？

好消息是，原型已经来了——World Labs最近展示了Marble平台的早期成果，创作者可以用多模态提示生成可交互的3D环境，在里面自由探索和扩展。这标志着世界模型从理论走向实践的关键一步。

谢赛宁、李飞飞、Yann LeCun

三、Cambrian-S的当头棒喝：现有基准全是"纸老虎"

就在李飞飞描绘蓝图的同时，她与谢赛宁、LeCun合作的Cambrian-S论文给社区浇了盆冷水：当前所有视频理解基准都在"自欺欺人"。

研究团队做了个"诊断性测试"，用图像模型Cambrian-1在不同条件下测试主流视频QA基准：

• 多帧输入：正常处理32帧视频
• 单帧输入：只看中间一帧
• 帧字幕：不喂图像，只喂AI生成的文字描述
• 盲测：完全不提供任何视觉信息

结果让人震惊：在EgoSchema、VideoMME等9个主流基准上，用字幕代替视频反而提升了20%以上准确率！这说明这些模型根本没在"看视频"，而是在"背答案"——靠语言先验和文本摘要蒙混过关。

图2：不同输入条件下的性能对比

图2解读：当"多帧"性能与"帧字幕"差不多时（右图差值接近0），说明该基准不需要真正的视觉感知。大多数主流基准都沦陷了，只有VSI-Bench和Tomato考验真实视频理解能力。

四、VSI-SUPER：给空间智能的"体检报告"

既然旧体检标准不管用，那就制定新的。团队提出VSI-SUPER基准，专门测试视频的"空间超感知"能力。这里定义了智能的5个层级：

0级：纯语言理解（无感知）1级：语义感知（"看图说话"）2级：流式事件认知（实时处理）3级：隐式3D空间认知（理解视频是3D世界的投影）4级：预测性世界建模（内部世界模型）

当前MLLM卡在1-2级，真正的空间智能需要冲上3-4级。VSI-SUPER包含两大硬核测试：

测试1：VSR（空间观察与回忆）

在长达240分钟的房间巡游视频中，人类标注者用AI把泰迪熊P进4个不同位置。模型需要按顺序回忆：“第几个房间？什么位置？”

这类似"大海捞针"测试，但更残酷——针是视觉篡改的，必须真看视频才能发现。

图4：VSR基准构建过程

测试2：VSC（持续计数）

拼接多个房间视频，问"所有房间加起来有几把椅子？"模型必须处理视角变化、重复目击、场景切换，还要动态更新计数。

对人类来说这是本能，对AI却是灾难——Gemini-2.5-Flash在120分钟视频上准确率仅10.9%，计数结果永远不随真实数量增长，卡在训练分布的常数上！

图6：Gemini在VSR任务上的性能饱和现象

表1：Gemini-2.5-Flash在VSI-SUPER上的表现

表1揭示残酷现实：即使上下文窗口达100万token，Gemini在60分钟视频上的VSR准确率仅41.5%，VSC仅10.9。暴力扩容上下文根本没用，因为**人类不会记住每一帧，而是学会"如何记住"**。

五、预测性感知：给AI装上"惊讶雷达"

问题的根源在于范式错误。传统MLLM像录像机，无脑记录所有帧；而人类像侦探，只关注"惊讶"时刻——违背预期的信息才会被记住。

Cambrian-S提出 “预测性感知”（Predictive Sensing） 新范式：

1. 用轻量级潜在帧预测（LFP）头预测下一帧特征
2. 预测误差=“惊讶度”（surprise）
3. 惊讶度驱动两件事：

• 记忆管理：压缩/跳过不惊讶的帧，算力集中在关键帧
• 事件分割：用惊讶峰值检测场景边界，实现"分而治之"

这招太聪明了！相当于给AI装上"认知雷达"，自动过滤冗余信息。架构上，LFP头是一个2层MLP，与语言头并行训练，成本极低。

图9：LFP头的架构设计

在VSC测试中，Cambrian-S用惊讶度分割视频，性能远超Gemini。更关键的是，它的计数预测会随真实数量增长，展现出真正的泛化能力！

图13：VSC任务性能对比

图14：计数能力的泛化性分析

图14的震撼：Gemini-2.5-Flash的预测（橙色）完全不跟随真实值（蓝色），而Cambrian-S（绿色）呈现正相关。这证明**“惊讶度"机制让AI学会了"如何学习”**，而非死记硬背。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】