随着开源模型推动AI热潮，NVIDIA Jetson正在边缘端将其变为现实

Cat 306 CR迷你挖掘机重量不到8吨，能够装入标准集装箱中。这是承包商在作业空间狭窄时租用的机器：在地基附近挖掘管线沟渠，或在密集社区的地下室施工。

驾驶室大约只有电话亭那么大。操作员坐在控制装置旁边，两个操纵杆，每只手控制多个功能。学会操作需要时间，提高熟练度需要更长时间。

在今年早些时候的CES展会上，这台机器能够回答问题。在演示中，Cat AI助手运行在NVIDIA Jetson Thor上，这是一个为工业和机器人系统中的实时推理而构建的边缘AI平台。NVIDIA Nemotron语音模型用于快速准确的自然语音交互。Qwen3 4B通过vLLM在本地运行，能够以低延迟解释请求并生成响应，无需云端连接。

除了企业创新，开源模型还为开发者提供了自由构建和实验的新可能性。在NVIDIA Jetson上运行OpenClaw使开发者能够在边缘端创建私有的全天候AI助手——零API成本且完全保护数据隐私。

所有Jetson开发套件都支持OpenClaw，提供了在20亿到300亿参数的开源模型之间切换的灵活性。有了在本地运行的前沿级AI助手，用户可以进行晨间简报、自动化日常任务、执行代码审查和控制智能家居系统——全部实时完成。

边缘部署的优势

在其近期历史的大部分时间里，开源模型运行在最容易支持它们的地方。

它们在数据中心运行，依靠弹性计算和持续的网络支持。云部署在延迟和持续计算开销方面产生成本，这些成本随每次查询而扩展。

物理系统针对其他方面进行优化。低延迟是因为机器要与人和环境交互。有限功耗是因为设备有硬性限制。一致行为是因为变异性会带来风险。

还有供应问题。内存短缺推高了整个行业的成本。Jetson将计算和内存集成在系统级模块中，加速客户硬件设计，使采购和验证比离散组件方法更简单。

随着模型变得更加高效，开发者也开始问一个不同的问题。不是哪个模型单独表现最佳，而是在哪里运行才有意义。

更多情况下，答案是在设备上，从面向入门级生成式AI模型的Jetson Orin Nano 8GB开始。

物理AI应用

对于物理AI系统，生成式AI模型正在扩展可能性。

正在开发中的卡特彼勒驾驶室内Cat AI助手在本地运行语音和语言模型，同时结合可信的机器上下文，支持操作员指导和安全功能。

在CES上，Franka Robotics展示了这在机器人技术中的表现。该公司的FR3 Duo双臂系统端到端运行NVIDIA GR00T N1.6模型，从感知到运动，无需任务脚本。策略在本地执行。

在机器人研究中，来自NVIDIA GEAR实验室的SONIC项目在超过1亿帧的动作捕捉数据上训练人形控制器，然后将生成的策略部署到物理机器人上，其中运动学规划器在Jetson Orin上运行，每次通过约12毫秒。策略循环以50Hz运行。一切都在板载执行。

这种模式延伸到开发者社区。伊利诺伊大学SIGRobotics俱乐部的团队在Jetson Thor上构建了运行GR00T N1.5模型的双臂抹茶制作机器人。它在NVIDIA具身AI黑客马拉松中获得第一名。

这种研究势头在纽约大学机器人与具身智能中心继续。该组织最近在Jetson Thor上运行其YOR机器人，使用NVIDIA Blackwell计算来处理AI驱动运动所需的重型处理。早期结果显示YOR执行复杂的拾取和放置任务，对新物体具有更好的泛化能力和对场景变化的鲁棒性，加速了烹饪和洗衣等广泛家务任务的就绪度。

独立研究者也发现了同样的情况。Hugging Face的多模态研究负责人Andrés Marafioti在Jetson AGX Orin上构建了智能体AI系统，该系统跨模型路由任务并安排自己的工作。深夜时，智能体给他发了一条消息：去睡觉吧。到早上一切都会准备好。

来自Collabnix社区的开发者Ajeet Singh Raina展示了如何在NVIDIA Jetson Thor上运行OpenClaw，用于24/7运行的个人AI助手。这种设置允许用户对自己的数据进行私有大语言模型推理，同时系统通过本地网关管理电子邮件和日历。

Jetson上的开源模型

NVIDIA Jetson已成为在边缘端运行开源模型的通用平台。

它支持广泛的开源模型和AI框架，为开发者提供边缘端几乎任何生成式AI工作负载的灵活性。

模型基准测试可在Jetson AI实验室获得，以及来自开源模型社区的教程。Jetson Thor在所有主要生成式AI模型中提供领先的推理性能。

Gemma：基于Google的Gemini研究构建，Gemma 3是Jetson的多功能主力。它开箱即用支持多模态，意味着它可以看到并用超过140种语言交谈。在Jetson Thor上，它处理庞大的128K上下文窗口。这使其非常适合需要记住长串复杂或多步骤指令的机器人。

gpt-oss-20B：这个来自OpenAI的模型通过在能够在Jetson Thor和Orin上本地运行的模型中提供接近最先进的推理性能，降低了部署高级AI的门槛，实现成本高效的推理。

Mistral AI：新的Mistral 3开源模型系列为开发者和企业提供行业领先的准确性、效率和定制能力。该系列包括3B到14B的小型密集模型，快速且对其大小而言异常聪明。Jetson开发者可以在NVIDIA Jetson Thor上使用vLLM容器，实现单并发52 Token/秒，在8并发时扩展到273 Token/秒。

NVIDIA Cosmos：这个领先的开放式推理视觉语言模型使机器人和AI智能体能够像人类一样在物理世界中看到、理解和行动。8B和2B模型都在Jetson上运行，提供高级时空感知和推理能力。

NVIDIA Isaac GR00T N1.6是用于通用机器人技能的开放视觉语言行动模型（VLA）。开发者可以用它构建能够感知环境、推理指令并跨广泛任务、环境和具身形式行动的机器人。在Jetson Thor上，完整的GR00T N1.6管道在板载执行，提供实时感知、空间感知和响应行动。

NVIDIA Nemotron：一个开放模型、数据集和技术系列，使用户能够构建高效、准确和专业的智能体AI系统。它专为高级推理、编码、视觉理解、智能体任务、安全、语音和信息而设计。Nemotron 3 Nano 9B模型有效地在Jetson Orin Nano Super上运行llama.cpp，性能为9 Token/秒。

PI 0.5：来自Physical Intelligence的VLA模型，使机器人能够理解指令并自主执行复杂的现实世界任务，具有强大的泛化和实时适应性，而NVIDIA Jetson Thor提供120动作Token/秒来支持响应式、低延迟物理AI部署。

Qwen 3.5：来自阿里巴巴的模型系列，包括最新的Qwen 3.5版本，提供密集和专家混合模型的组合，提供强大的推理、编码多模态理解和长上下文性能。Jetson Thor在Qwen模型（如Qwen 3.5-35B-A3B模型）上提供优化性能，以35 Token/秒推理，使实时交互成为可能。

任何开发者都可以微调这些模型来创建专业的物理AI智能体，并无缝部署到物理AI系统中。NVIDIA Jetson平台支持来自NVIDIA TRT、Llama.cpp、Ollama、vLLM、SGLang等流行AI框架。

开始使用

开发者可以深入研究Hugging Face教程——包括"在Jetson上部署开源视觉语言模型"——并观看最新直播。从本教程学习并在NVIDIA Jetson上运行OpenClaw。

加入下个月的GTC 2026，亲眼见证一切。NVIDIA将展示开源模型如何从数据中心转移到在物理世界中运行的机器，包括关于"工业自主化未来"的座谈。

观看NVIDIA创始人兼CEO黄仁勋的GTC主题演讲，探索物理AI、机器人和视觉AI会议。

技术堆栈

NVIDIA Jetson Thor：用于工业和机器人系统中实时推理的边缘AI平台

NVIDIA Riva：使用Parakeet ASR和Magpie TTS的语音AI框架

Qwen3 4B：用于意图解析和响应生成的紧凑型大语言模型

vLLM：在边缘端为大语言模型推理服务的高效运行时

CatHelios：提供可信机器上下文的统一数据平台

NVIDIA Omniverse：用于工业工作流的数字孪生和仿真框架

Q&A

Q1：NVIDIA Jetson Thor是什么？它在边缘AI中起什么作用？

A：NVIDIA Jetson Thor是一个专为工业和机器人系统中的实时推理而构建的边缘AI平台。它能够在本地运行各种生成式AI模型，包括语音识别、大语言模型等，无需云端连接，提供低延迟、高性能的AI推理能力，支持从Cat AI助手到机器人控制等多种物理AI应用。

Q2：在Jetson上运行开源模型有哪些优势？

A：在Jetson上运行开源模型的主要优势包括：零API成本、完全数据隐私保护、低延迟实时处理、不依赖网络连接、以及完整的本地控制。这使得开发者可以创建24/7运行的私有AI助手，处理敏感数据而无需上传到云端，同时避免了云服务的持续计算费用。

Q3：GR00T N1.6模型能实现什么功能？它如何在机器人中应用？

A：NVIDIA Isaac GR00T N1.6是一个开放的视觉语言行动模型，专为通用机器人技能设计。它能让机器人感知环境、理解指令并执行广泛的任务。在Jetson Thor上，完整的GR00T管道可以板载执行，提供实时感知、空间感知和响应行动，已成功应用于双臂机器人、抹茶制作机器人等场景。