隆重推出 NVIDIA Jetson Thor:物理 AI 的终极平台

机器人技术正在经历一场革命,从专用机器时代迈向通用机器人时代。这一转变正在从单一用途、功能固定的机器人,转向经过训练能在不同环境中执行多样化任务的适应性机器人。受人类认知的启发,这些适应性机器人结合了快速的反应能力与高层次的推理和规划能力,从而实现了更高效的学习和适应。

这一新范式为机器人在各行各业的灵活运作打开了大门,降低了成本,并将实际应用扩展到远超专用机器人所能及的范围。在 GTC 2025 上,NVIDIA Isaac GR00T 平台被推出作为这一转型的基础,它集成了机器人基础模型合成数据管道、仿真环境和运行时计算机。

今天,我们激动地宣布 NVIDIA Jetson AGX Thor 开发者套件NVIDIA Jetson T5000 模块已全面上市,让全球开发者能够构建物理 AI 的未来。有了 Jetson Thor,机器人不再需要为每个新任务重新编程。Jetson Thor 是物理 AI 的终极平台,为生成式推理和多模态、多传感器处理提供了一台超级计算机。Jetson Thor 可以集成到下一代机器人中,以加速基础模型,为物体操纵、导航和遵循复杂指令等挑战提供灵活性。

构建一个通用人形机器人需要什么?

构建一个典型的人形机器人需要四个基本层次:

  • 硬件抽象层:集成所有关键的传感和驱动模式,使机器人能够感知环境并与世界进行物理交互。
  • 实时控制框架:管理机器人运动的精确、低延迟控制,其中最小化延迟对于安全和响应迅速的操作至关重要。
  • 感知与规划:为机器人配备环境理解、抓取和运动规划、移动、物体识别和定位能力——使其能够与周围世界有效互动。与实时控制不同,这一层允许稍长的处理时间,以确保深思熟虑、准确的决策。
  • 高层推理:支持场景理解、复杂任务规划和自然语言交互等高级功能,其中较长的处理时间是可接受的,以支持更深层次的推理和适应性。

[图片:左侧是一个人形机器人应用,右侧是构建它所需的各个层次,包括标记为高层推理、感知与规划、实时控制框架和硬件抽象层的部分。]
图 1. 构建人形机器人需要一系列硬件和软件组件

NVIDIA Jetson Thor 如何成为物理 AI 和人形机器人的终极平台?

NVIDIA Jetson AGX Thor 开发者套件为您提供无与伦比的性能和可扩展性。它由 NVIDIA Blackwell GPU 和 128 GB 内存驱动,提供高达 2070 FP4 TFLOPS 的 AI 计算能力,可轻松运行最新的生成式 AI 模型——所有这些都在 130 W 的功率范围内。与 NVIDIA Jetson AGX Orin 相比,它提供了高达 7.5 倍的 AI 计算能力和 3.5 倍的能效提升。

Jetson Thor 通过新的 Blackwell 多实例 GPU (MIG) 技术和强大的 14 核 Arm Neoverse-V3AE CPU,帮助您加速低延迟、实时的应用。它还包括一套加速器,包括第三代可编程视觉加速器 (PVA)、双编码器和解码器、光流加速器等。

为实现高速传感器融合,该开发者套件提供了广泛的 I/O 选项,包括一个带 4x25GbE 的 QSFP 插槽、一个有线多千兆以太网 RJ45 连接器、多个 USB 端口和其他连接接口。它还设计用于与现有的人形机器人平台无缝集成,允许轻松连接以快速启动原型设计。

Transformer 引擎和 FP4 支持

基于 NVIDIA Blackwell 架构,Jetson Thor 引入了带有下一代 Transformer 引擎的原生 FP4 量化,该引擎可在 FP4 和 FP8 之间动态切换以获得最佳性能。通过将 4 位权重和激活与更高的内存带宽相结合,Thor 加速了生成式 AI 工作负载中的预填充和解码过程。

多实例 GPU (MIG)

Jetson Thor 引入了 MIG,允许将单个 GPU 分区为具有专用资源的隔离实例。这通过为关键工作负载保留容量,同时并行运行时间不那么敏感的任务,确保了可预测的性能——这对于混合关键性机器人应用尤其有价值。

表 1 和表 2 显示了 Jetson T5000 模块和 NVIDIA Jetson AGX Thor 开发者套件载板的主要特性和接口。

NVIDIA Jetson T5000 NVIDIA Jetson T4000*
AI 性能 2070 TFLOPS (稀疏 FP4) 1035 TFLOPS (密集 FP4 稀疏 FP8
GPU 2560 核 NVIDIA Blackwell 架构 GPU,带 96 个第五代 Tensor Core MIG,10 个 TPC 1536 核 NVIDIA Blackwell 架构 GPU,带 64 个第五代 Tensor Core MIG,6 个 TPC
CPU 14 核 Arm Neoverse-V3AE 64 位 CPU 12 核 Arm Neoverse-V3AE 64 位 CPU
内存 128 GB 256 位 LPDDR5X, 273 GB/s 64 GB 256 位 LPDDR5X, 273 GB/s
频率 最高 1.57 GHz GPU
最高 2.6 GHz CPU
最高 1.57 GHz GPU
最高 2.6 GHz CPU
存储 通过 PCIe 支持 NVMe;
通过 USB3.2 支持 SSD
通过 PCIe 支持 NVMe;
通过 USB3.2 支持 SSD
视觉加速器 PVA v3.0 PVA v3.0
视频编码 高达 6x4Kp60 (H.265/H.264) 高达 6x4Kp60 (H.265/H.264)*
视频解码 高达 4x 8Kp30 (H.265)
高达 4x 4Kp60 (H.264)
高达 4x 8Kp30 (H.265)
高达 4x 4Kp60 (H.264)
摄像头 通过 HSB 高达 20 个摄像头;通过 16x 通道 MIPI CSI-2 高达 6 个摄像头
使用虚拟通道 C-PHY 2.1 (10.25 Gbps) D-PHY 2.1 (40 Gbps) 高达 32 个摄像头
通过 HSB 高达 20 个摄像头;通过 16x 通道 MIPI CSI-2 高达 6 个摄像头
使用虚拟通道 C-PHY 2.1 (10.25 Gbps) D-PHY 2.1 (40 Gbps) 高达 32 个摄像头
显示 4x 共享 HDMI2.1 VESA Display Port 1.4a – HBR2, MST 4x 共享 HDMI2.1 VESA Display Port 1.4a – HBR2, MST
功耗 40 W – 130 W 40 W – 70 W

表 1. NVIDIA Jetson AGX Thor 开发者套件模块规格
* 初步数据,可能会有变动

NVIDIA Jetson AGX Thor 开发者套件规格
集成的 NVIDIA Jetson Thor 模块 NVIDIA Jetson T5000 模块
存储 M.2 Key M 插槽上集成 1TB NVMe
摄像头 通过 QSFP 插槽的 HSB 摄像头, USB 摄像头
PCIe M.2 Key M 插槽,带 x4 PCIe Gen5 (已预装 1TB NVMe)
M.2 Key E 插槽,带 x1 PCIe Gen5 (已预装 Wi-Fi 6E + 蓝牙模块)
USB 2x USB Type-A 3.2 Gen2
2x USB Type-C 3.1 Gen1
1x USB Type-C (仅用于调试)
网络 1x 5GBe RJ45 连接器
1x QSFP28 (4x 25GbE)
Wi-Fi 802.11ax Wi-Fi 6E
显示 1x HDMI 2.0b
1x DisplayPort 1.4a
其他 I/O 2x 13-pin CAN 接头
2x 6-pin 自动化接头
2x 5-pin 接头
JTAG 连接器
1x 4-pin 风扇连接器 – 12V, PWM, 和 Tach
2x 5-pin 音频面板接头
2-pin RTC 备用电池连接器
Microfit 电源插孔
电源、强制恢复和重置按钮
机械尺寸 243.19 mm x 112.40 mm x 56.88 mm (高度包括脚垫、载板、模块和散热方案)

表 2. NVIDIA Jetson AGX Thor 开发者套件载板规格

[图片:显示 Jetson Thor 模块中不同组件的框图。]
图 2. NVIDIA Jetson Thor 模块的组件

Jetson Thor 如何在边缘增强生成式 AI?

Jetson AGX Thor 属于一类全新的机器人计算机,从头开始设计,旨在为下一代人形机器人提供动力。它支持广泛的生成式 AI 模型,从像 NVIDIA Isaac GR00T N1.5 这样的视觉语言动作 (VLA) 模型,到所有流行的大型语言模型 (LLM)视觉语言模型 (VLM)

为了提供无缝的云到边缘体验,Jetson Thor 运行 NVIDIA AI 软件栈,用于物理 AI 应用,包括用于机器人的 NVIDIA Isaac、用于视觉智能体 AI 的 NVIDIA Metropolis 和用于传感器处理的 NVIDIA Holoscan。您还可以使用 NVIDIA 智能体 AI 工作流(如视频搜索和摘要 (VSS))在边缘构建 AI 智能体。


图 3. Jetson Thor 支持多种 AI 框架和生成式 AI 模型

为什么生成式推理和多模态传感器处理对物理 AI 很重要?

生成式推理模型对于机器人平台至关重要,这些平台可以模拟可能的动作序列、预测后果、基于语言或视觉线索进行推理,并灵活地生成高层计划或低层运动策略。这使得机器人系统更加灵活、适应性强,并能在现实世界中进行强大、人类水平的推理。

NVIDIA Jetson Thor 在生成式推理方面实现了巨大飞跃,与 Jetson Orin 相比,速度提升高达 5 倍。借助 FP4 和推测解码,开发者将能够在 Jetson Thor 上实现额外的 2 倍性能提升。

图片:比较 Jetson Thor 和 Jetson Orin 在生成式推理基准测试上的条形图。
图 4. Jetson Thor 在生成式推理方面比 Jetson Orin 快 5 倍

Jetson Thor 还能无缝处理多个生成式 AI 模型和大量多模态传感器输入,提供实时响应能力。图 5 使用 Qwen2.5-VL-3B VLM 和 Llama 3.2 3B LLM 演示了这一能力,同时处理 16 个请求。两个模型的首次令牌生成时间 (TTFT) 均远低于 200 毫秒,每输出令牌时间 (TPOT) 远低于 50 毫秒——这是系统响应能力的两个关键指标。

图片:比较 Orin 和 Thor 上 TPOT 和 TTFT 性能的图表。
图 5. Jetson Thor 在处理多个生成式 AI 模型和大量多模态传感器输入时提供实时响应能力

Jetson Thor 利用 Blackwell 原生的 FP4 支持,并启用了推测解码等先进技术。在这种方法中,一个较小的草稿模型提出令牌,一个较大的模型进行验证。这种方法在保持准确性的同时加速了生成式 AI 推理,最终提供更快、更高质量的输出。

图 4 表明,与使用 W4A16(4 位权重,16 位激活)的 Jetson Orin 相比,Qwen2.5-VL-7B 模型在 Thor 上通过 FP4 量化和基于 Eagle 的推测解码,实现了高达 3.5 倍的推理速度提升。

此外,Jetson Thor 提供了更高水平的加速,在生成式 AI 模型(包括 LLM、VLM 和 VLA)上比 Jetson Orin 提升高达 5 倍,如表 3 所示。

家族 模型 Jetson AGX Thor (输出令牌/秒) Jetson AGX Orin (输出令牌/秒) 加速比
LLM
Llama Llama 3.1 8B 150.8 112.33 1.34
Llama 3.3 70B 12.64 7.38 1.71
Qwen Qwen3-30B-A3B 226.42 76.69 2.95
Qwen3-32B 79.1 16.84 4.70
DeepSeek DeepSeek-R1-Distill-Qwen-7B 304.76 180.41 1.69
DeepSeek-R1-Distill-Qwen-32B 82.63 16.96 4.87
VLM
Qwen Qwen2.5-VL-3B 356.86 216 1.65
Qwen2.5-VL-7B 252 154.02 1.64
Llama Llama 3.2 11B Vision 69.63 44.22 1.57
VLA
GR00T GR00T N1 46.7 18.5 2.52
GR00T N1.5 41.5 15.2 2.74

表 3. Jetson Thor 和 Jetson AGX Orin 上的基准测试
这些基准测试的配置:序列长度:2048,输出序列长度:128;最大并发数:8;LLM 和 VLM 模型使用 VLLM 运行,VLA 模型使用 TensorRT 运行;Jetson AGX Thor 和 Jetson AGX Orin 的功耗模式均为 MAXN

Jetson 软件如何加速边缘 AI?

Jetson 软件通过提供一个紧密集成的全栈软件平台,为机器人、医疗、物流和自主系统中的实时、高吞吐量应用进行优化,从而加速边缘 AI 的性能。

JetPack 7 的支持下,Jetson 软件配备了 Linux 内核 6.8、Ubuntu 24.04 LTS 和最新的 NVIDIA AI 栈,为物理 AI 实现了高级生成式 AI 模型的低延迟、确定性执行。它结合了硬件加速计算和系统级优化,以驱动复杂系统(如人形机器人、自主机器和工业自动化)中的响应式、智能行为。

凭借集成的 Holoscan 传感器桥、MIG 支持和可抢占实时内核等功能,Jetson 软件提升了高速传感器融合和运动规划等任务的性能和效率。在 Jetson AI Lab 和广泛的生态系统支持下,Jetson 软件显著加快了边缘 AI 和机器人应用的性能实现时间。

Jetson Thor 平台支持新的 Cosmos Reason,这是一个开放、可定制的 7B 推理 VLM,用于物理 AI 和机器人技术。

图片:显示 Jetson 软件栈不同组件的图表。
图 7. Jetson 软件栈

JetPack 7 采用 SBSA 架构

通过 JetPack 7,Jetson 软件与服务器基础系统架构 (SBSA) 保持一致,将 Jetson Thor 定位在行业标准的 Arm 服务器设计之列。SBSA 规范了关键的硬件和固件接口,提供了更强的操作系统支持、更简单的软件可移植性和更顺畅的企业集成。在此基础上,Jetson Thor 现在支持在所有 Arm 目标上统一安装 CUDA 13.0,从而简化了开发、减少了碎片化,并确保了从服务器级系统到 Jetson Thor 的一致性。

NVIDIA Isaac 如何端到端地加速机器人开发?

NVIDIA Isaac 是一个开放的机器人平台,提供 CUDA 加速库、框架和 AI 模型,用于构建 AMR、机械臂、人形机器人等。现代机器人需要一个由控制、视觉和语言模型组成的先进“大脑”,以实时处理多模态数据,实现从感知到行动的无缝衔接。

Jetson Thor 专为运行像 Isaac GR00T N1.5 这样要求苛刻的模型而设计,提供实时的人机交互、空间感知和强大的感知能力。Isaac 和 Thor 共同实现了可扩展、边缘部署的多模态 AI,加速了工业和研究领域的机器人创新。

图片:显示 Isaac GR00T 不同组件的图表。
图 8. NVIDIA Isaac GR00T 端到端地加速机器人开发

如何使用 VSS 从边缘摄像头中解锁知识?

来自 NVIDIA Metropolis 的 NVIDIA 视频搜索和摘要 (VSS) 蓝图为您提供了构建和部署视频分析 AI 智能体的工具,这些智能体可以通过分析实时摄像头流来执行情境化的实时警报、摘要和问答。

VSS 正在为跨越制造业(用于视觉检查和工人安全)、体育直播(如粉丝互动和球员分析)以及改善道路事故应急响应时间的视觉智能体工作队伍提供动力。

图片:显示用于构建视频分析 AI 智能体的 VSS 开发平台组件的图表。
图 9. VSS 用于制造业的视觉检查和工人安全,以及改善道路事故的应急响应时间

Holoscan on Thor 如何用于实时传感器处理?

NVIDIA Holoscan 是一个 AI 传感器处理平台,为软件定义和实时 AI 提供了所需的加速全栈基础设施。它旨在简化和扩展企业级硬件上的边缘 AI,为实时 AI 提供高性能的边缘解决方案。

通过在 Jetson Thor 上使用 Holoscan,您可以安全地分区和隔离并发的 AI 工作流——确保确定性性能、容错能力和防止数据泄露,适用于任务关键型应用。这使得在不影响安全性的情况下能够持续进行 AI 创新,使 Holoscan 成为受监管领域中实时行动的可信操作层。

现代机器人依赖于各种各样的传感器——包括摄像头、IMU、执行器等等——每种传感器对于智能操作都至关重要。借助 NVIDIA Holoscan 传感器桥,您可以将所有传感器通过以太网无缝连接到 NVIDIA Jetson 平台,无论其模式如何。利用 Jetson Thor 中新的以太网摄像头技术,传感器数据直接流入 GPU 内存,极大地减少了延迟并最小化了 CPU 开销。这种方法用简化的、软件定义的 API 取代了传统的驱动程序复杂性,使实时边缘 AI 应用能够实现精确同步和强大的可扩展性——无论是用于机器人、工业自动化还是先进的医疗系统。

一个加速产品上市时间的综合生态系统

为了帮助开发者更快地将解决方案推向市场,Jetson 生态系统——拥有超过 1000 个合作伙伴的网络——通过各种合作伙伴类别提供有针对性的支持,确保在流程的每个阶段都能获得所需的能力。

合作伙伴类别 产品/服务
独立软件供应商 (ISV) 应用软件
云服务提供商 (CSP) 和软件工具 平台操作系统、设备管理、AI 模型定制和移植
平台软件和 AI 服务 平台操作系统、系统软件
硬件合作伙伴 (OEM/ODM/系统构建商、设计公司等) 载板、COTS、定制系统、交钥匙设计服务、连接模块
传感器 摄像头 (MIPI / GMSL, 以太网, USB)、激光雷达、IMU、音频、ISP 调优
分销商 Jetson 模块和开发者套件

表 4. Jetson 生态系统包括超过 1000 个合作伙伴

开始使用 NVIDIA Jetson Thor 进行物理 AI 开发

通过将 Jetson AGX Thor 开发者套件直接连接到现有机器人,加速您的软件开发。您可以立即开始创建和测试应用程序——无需等待完整的系统集成。

视频 1. 了解如何开始使用 NVIDIA Jetson AGX Thor 开发者套件

加入超过 200 万开发者的行列,启动您的下一代物理 AI 项目。Jetson AGX Thor 开发者套件售价 3,499 美元,Jetson T5000 生产模块现已通过全球 NVIDIA 授权分销商开放购买

开始使用 Jetson AGX Thor 开发者套件,并下载最新的 JetPack 7

全面的文档、支持资源和工具可通过 Jetson 下载中心生态系统合作伙伴获得。有疑问或需要指导?请在 NVIDIA 开发者论坛与专家和其他开发者联系。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐