AIBOX PRO + RK1828 边缘多模态推理平台 App Portal 部署与典型应用拆解

随着 LLM / VLM 等大模型逐步走向实际部署,“云端推理 + 端侧回传” 的传统架构暴露出三个越来越明显的痛点:多路视频上行带宽受限、网络往返延迟不可控、云端 API 持续成本难以预测。

在边缘侧把"视觉 + 语音 + 语言"全栈 AI 跑通,需要的不只是一颗算力足够的 NPU,更需要一个能把多类模型应用统一管理起来的控制平面。本文整理在 AIBOX PRO 系列(RK3588 + 双 RK1828)上跑通 App Portal 边缘多模态推理平台 的架构、应用矩阵、典型应用流程与性能数据。

一、平台定位

项目	描述
硬件底座	AIBOX PRO 系列(RK3588 + 2×RK1828 M.2 加速卡)
主控 SoC	Rockchip RK3588(8 核 / 6 TOPS NPU,负责系统、编解码、IO)
加速 SoC	Rockchip RK1828 × 2(23 TOPS INT8,跑视觉/语音/语言大模型)
控制平面	App Portal(本地 Web 控制台,统一安装、启停、健康检查)
模型生态	Rockchip 官方/合作方提供的多路视觉、语音、语言模型
部署形态	应用封装为 Deb + 资源包,一键安装,免手工部署模型与依赖

RK3588 负责系统调度、视频编解码、IO 控制等"基底能力",RK1828 负责大模型推理,App Portal 负责把上层 AI 应用统一管理起来。这种"一芯多模、一站管理"的思路,适合多模态 AI 在边端的集中落地。

二、App Portal 控制平面

App Portal 是平台的管理入口,提供应用部署、启停、健康检查、Web 访问等能力,主界面类似 K8s 的简化控制台:

界面分三个层次:

区域	作用
顶部状态	已发现应用数、运行中服务数、Portal 版本、应用目录路径(如 /etc/app-portal/catalog.yaml)
系统服务区	RKNN3 Runtime 等基础运行时,与应用同时运行,提供底层推理与组件依赖
应用区	各个 AI 应用的安装/启动/停止/重启动作,实时展示应用版本、安装时间、资源占用、运行时版本、服务运行情况

三、应用矩阵

App Portal 把"视觉/语音/语言"几类常见负载拆成可独立管理的应用,目前已跑通的应用包括:

应用名	主要能力
Multistream-Detect 智慧交通监管平台	多路视频流实时目标检测 + 车牌识别 + VLM 行为/事故分析
Multistream-VLM 视觉分析	WebRTC 视频 VLM 分析(Qwen3-VL-2B)
AI Meeting AI 会议	实时语音转写(ASR)+ 翻译 + 智能总结 + RAG + 说话人分离
ClawChips 智能体	RKLLM3 AgentModel-4B,OpenAI 兼容对话/工具调用
AI-Media-Base 多模态推理服务	Qwen3-VL-4B VLM 推理服务 + Paraformer ASR + bge 向量模型
Llama-RKNN3-Server	Llama.cpp 兼容 UI,代理 RKLLM3-Server(AgentModel)

同一时间一般只运行一个应用,但系统服务(RKNN3 Runtime 等)与应用解耦,可同时在线。

四、硬件适配说明

App Portal 主要面向 RK1828 模组,目前已适配的主板/设备如下:

产品	模组/加速卡	适配情况
AIBOX PRO	RK3588 + 2×RK1828	全量适配上述所有应用
其它有 M.2 NPU 卡槽的 AI 盒子/主板	单 RK1828 或双 RK1828	主控性能满足时可适配 Llama-RKNN3-Server、AI-Media-Base、AI Meeting、ClawChips;Multistream-Event 双卡分工需两块 RK1828 模组

授权说明:AI Meeting 的 ASR / 总结等 RockX 模块为 Trial 模式,实际使用需向 Rockchip 申请相应算法授权。

五、典型应用拆解

5.1 Multistream-Detect 智慧交通

针对路口、卡口、路段的多路视频,做"目标检测 + 车牌识别 + 行为/事故判定"的完整链路。

典型流程:

步骤	内容	实测数据
多路视频实时目标检测与跟踪	检测、跟踪、计数	检测流水线约 20 fps(单帧 60 ms)
车辆车牌检测 + OCR	RK1828 端侧推理	约 114 ms
车辆外观/行为中文描述	VLM 输出	约 1.2 s
行人状态/是否骑车/携带物品	VLM 输出	约 1.2 s
事故/异常场景判定	连续多帧输入 VLM,滚动监控	约 1-2 s,可稳定判定正常场景

适用场景:路口监控、高速巡检、停车场、园区出入口等。

**演示视频：

5.2 AI Meeting 智能会议

面向会议室、培训室的本地化 AI 会议助手,典型形态:

能力组成:

能力	描述
实时语音转写(ASR)	本地 ASR 转文字,延迟可控
双语翻译	中英/多语翻译,本地推理
会议纪要智能总结	自动抽取要点、生成长摘要
基于向量库的语义检索(RAG)	历史会议可语义化检索
说话人分离(Speaker Diarization)	区分不同发言者,纪要归属清晰

整套流程跑在 AIBOX PRO 本地,语音数据不出域,适合政企、金融、医疗等对会议内容敏感的内部场景。

**演示视频：

5.3 ClawChips 端侧大模型智能体

针对本地化的"知识问答 + 工具调用"需求,提供网页聊天 + 工具调用 + 技能包的端侧智能体能力。

关键能力:

项	内容
基座模型	AgentModel-V3-4B(RKNN3 / RKLLM3 本地推理)
推理框架	RKLLM3 + Nanobot Gateway
接口	OpenAI 兼容接口,便于接入现有应用
技能	内置联网搜索、IM 接入(飞书 / Telegram / Slack)、MCP 工具、文档解析(PDF / Word / PPT / Excel)
数据	聊天数据全程本地,可对接第三方系统或作为私有化助手

适合企业内部知识库、客服辅助、运营问答、设备运维知识助手等场景。

**演示视频：

5.4 AI-Media-Base 多模态推理服务

独立运行的多模态推理服务,自带 ai_media_base.service,对外提供 OpenAI 兼容接口,便于上层应用集成。

模型	大小	作用
Qwen3-VL-4B 视觉语言模型	3.4 GB	图像/视频理解、视觉问答
Paraformer 语音识别	459 MB	中文/英文 ASR
bge-small-zh-v1.5 中文向量模型	96 MB	文本向量化、语义检索

接口:/v1/models,可直接对接现有 OpenAI 生态应用。

**演示视频：

六、性能与资源占用(参考)

应用	资源占用	运行时版本
RKNN3 Runtime(系统服务)	-	1.0.5b10
Multistream Detect	2.0 GiB	1.0.5b10
ClawChips	8.9 GiB	1.0.5b10
AI Media Base	3.7 GiB	1.0.5b10
Llama RKNN3 Server	-	1.0.5b10

七、典型应用领域

领域	典型用法
智慧交通 / 城市治理	路口/卡口/路段多路视频分析,事故检测、违停/异常行为告警、车牌追踪
园区 / 校园 / 楼宇安防	人员行为描述、危险物品/行李识别、陌生人轨迹、大门口 AI 值守
智慧工地 / 生产安全	安全帽/行为规范检测、禁区闯入、连续画面事件分析
AI 会议室 / 培训室	实时转写、自动纪要、历史会议语义检索
边缘智能体	本地部署聊天/知识问答/工具调用,数据不出网

八、平台优势小结

维度	做法
一套硬件 = 视觉+语音+语言全栈 AI	检测/跟踪/车牌/VLM/ASR/LLM/向量检索全部本地 NPU 推理,不依赖云端,无数据出域风险
免手工部署	应用封装为 Deb + 资源包,App Portal 一键安装/健康检查/Web 打开,免手工部署模型与依赖
数据本地化	语音转写、智能总结、语义检索均本地运行,适合数据敏感的政企/行业客户
低延迟	检测流水线约 20 fps(单帧 60 ms),车牌识别百毫秒上下,VLM 行为/场景分析 1-2 s
可扩展性	大模型基本可通过 RK1828 单卡跑通,模型/流水线可替换(YOLO→ReID→VLM 全链路),开放端口与 API 便于集成

App Portal 面向开发者提供本地化控制平面,把多模态 AI 在边缘侧的部署从"散装命令行"变成"一站管理"。在 AIBOX PRO 系列(RK3588 + 双 RK1828)上,这套平台已经覆盖了从智慧交通到 AI 会议、从端侧智能体到多模态推理服务的常见边缘 AI 场景。

---

参考资料

• Rockchip RK3588 / RK1828 数据手册与瑞芯微官方工具链(RKNN3 / RKLLM3)
• AIBOX PRO 硬件规格与 App Portal 平台说明
• Qwen3-VL、Paraformer、bge 等开源模型文档