简介

随着小型大型语言模型（sLLM）不断给人工智能应用带来变革，在边缘平台上高效运行这些模型已成为一个重要的技术里程碑。在本文中，我们将演示如何使用研华的边缘 AI SDK，在搭载 NVIDIA Jetson Orin的研华EPC-R7300边缘系统上部署和优化具有代表性的 sLLM DeepSeek-R1。

PC-R7300以紧凑、低功耗的设计提供高运算性能，是边缘AI推理的理想之选。本指南概述了设置过程、关键注意事项和性能见解，以帮助开发人员加快在嵌入式系统上部署 sLLM。

准备

必要的硬件

您需要具备EPC-R7300，配有键盘/鼠标和HDMI显示器。配备 NVIDIA Jetson Orin Nano Super、128GB NVMe SSD，运行JetPack 6.2。EPC-R7300具有以下特点：

• 兼容NVIDIA Jetson Orin Nano Super，提供40~67 TOPS的AI性能
• 工业和可扩展设计
• HDMI分辨率高达 3840 x 2160 @60Hz
• 2 x GbE LAN、2 x USB3.2 Gen 2
• 1 x Nano SIM卡插槽
• 1 x M.2 3042/52 B键插槽、1 x M.2 2230 E键插槽、1 x M.2 2280 M键插槽
• 支持Gemma3、DeepSeek R1、Qwen、Llama

必要的软件

研华Edge AI SDK。

由于研华Edge AI SDK节省了大量安装时间，现在我们将介绍如何在EPC-R7300上使用DeepSeek-R1运行Edge AI SDK。

只需几步即可在自己的设备上实现自然语言对话、数学推理和各种专业应用。无论您是工程师还是系统集成合作伙伴，上手都非常简单直观！

操作指引

启动EPC-R7300，点击桌面上的Edge AI SDK图标。

启动 Edge AI SDK 并提供用户信息：

接受最终用户许可协议：

它将把验证码发送到邮件中。输入您提供的电子邮件中的验证码：

Edge AI SDK 设置完成：

选择快速启动 (GenAI)： 选择聊天机器人和 iGPU

它将通过浏览器上的 EdgeAI SDK 页面启动 GenAI-Chatbot

运行模型演示

在Ollama.com上搜索模型： Ollama Search

下载deepseek-r1:1.5b和qweb2.5:2b模型

在Ollama.com上搜索deepseek-r1模型：

使用deepseek-r1思维模型的示例，复制deepseek-r1:1.5b模型名称

单击 "选择模型 "旁边的下拉列表。粘贴从 Ollama 模型中复制的模型，然后从 Ollama.com 中选择 Pull "deepseek-r1:1.5b"。

它将开始下载模型

模型下载完成后，从下拉列表中选择下载的模型。这里的示例是 deepseek-r1:1.5b 模型。

现在，它切换到deepseek-r1:1.5b并开始与模型聊天。就像与其他LLM界面聊天一样。

下载gemma2:2b模型：

在Ollama.com上搜索gemma2模型：

示例：使用gemma2模型，复制gemma2:2b模型名称。

单击 "选择模型 "旁边的下拉列表。粘贴从 Ollama 模型中复制的模型，然后从 Ollama.com 中选择 Pull "gema2:2b"。

它将开始下载模型。

模型下载完成后，从下拉列表中选择下载的模型。这里的例子是 gemma2:2b。

现在，它会切换到 gemma2:2b，你就可以开始与模型聊天了。就像与其他 LLM 机器人聊天一样。

运行结果：点击查看视频

gemma2:2b sLLM运行结果截屏，无思考：

deepseek-r1:1.5b sLLM 运行结果截屏，带思考：

完成设置后，我们成功演示了在由NVIDIA Jetson Orin Nano Super支持的研华边缘平台上运行小型大型语言模型（sLLM）DeepSeek-R1 的可行性。

与传统依赖云的 LLM 部署方法相比，在研华边缘平台上运行 sLLM 具有显著优势：降低延迟、增强数据隐私性、降低网络依赖性，并有可能长期节约成本。

结论

研华边缘AI SDK可帮助开发人员在边缘平台上高效部署和运行DeepSeek-R1等小型大型语言模型 (sLLM)。通过将EPC-R7300的高性能计算与优化的软件环境相结合，SDK简化了设置过程并加快了人工智能应用的开发。开发人员无需进行复杂的配置即可充分利用 Jetson Orin的功能，从而加快原型开发和部署速度。研华的软硬件一体化解决方案打破了开发界限，帮助您创建更智能、更高效的边缘AI系统。

补充

除了DeepSeek和Gemma之外，由NVIDIA® Jetson Orin™ Nano和Super平台支持的EPC-R7300还支持多种sLLM模型，允许开发人员根据项目需求灵活选择。

以下是EPC-R7300与常用sLLM型号（包括Llama、Qwen、Phi和SmolLM2）的性能参考数据，展示了其出色的通用性和性能。这些数据不仅证明了EPC-R7300强大的计算能力，也为开发人员选择和优化模型提供了宝贵的参考。