高通IQ9075 AI 模型性能全解析:YOLO系列Benchmark
本文针对IQ9075芯片的YOLO系列模型性能进行基准测试,涵盖YOLOv5至v11等多个版本。测试结果显示,NPU加速模式下INT8量化显著提升推理速度,如YOLOv5n在NPU QNN2.31 INT8下达到635.73FPS,相比CPU模式提升87倍。YOLOv10x在NPU QNN2.31 INT8下实现76.91FPS,优于FP16精度。多任务模型中,YOLO11n-seg在INT8精度
目标检测作为计算机视觉的核心任务,已成为自动驾驶、工业质检、智慧医疗等领域规模化落地的关键支撑。2015 年 YOLO 算法的问世,以单阶段端到端检测的创新范式,彻底打破了传统两阶段检测的效率瓶颈,开启了实时目标检测的技术革命。历经十余年迭代,YOLO 系列已从 v1 的网格化预测演进至 v13 的多模态融合架构,通过 Anchor 机制优化、特征融合升级、Anchor-Free 设计、NMS-Free 革新等核心突破,持续实现精度与速度的双重飞跃,构建了覆盖边缘端到数据中心的全场景模型矩阵。
随着 YOLO 模型在工业级应用中的深度渗透,硬件平台的适配能力成为决定技术落地效果的关键变量。当前主流基准测试多聚焦于服务器级 GPU 性能,却难以反映嵌入式芯片等实际部署场景的真实表现,而模型架构、输入分辨率、量化策略与硬件特性的适配差异,进一步加剧了性能评估的复杂性。芯片作为算力供给核心,其对 YOLO 系列不同版本模型的兼容度、加速能力及资源占用效率,直接影响终端产品的响应速度与部署成本,亟需针对性的基准测试体系提供量化参考。
IQ9075 芯片凭借其优化的计算架构与高效的能效比,专为计算机视觉任务设计,具备支撑多版本 YOLO 模型运行的潜力。为填补现有基准测试在专用芯片与 YOLO 系列适配评估中的空白,本文构建了覆盖 YOLOv3 至 v13 主流版本的标准化测试方案,从检测精度、推理延迟、算力占用等核心维度,系统评估 IQ9075 芯片的实际性能表现。本基准测试结果不仅可为基于 IQ9075 的终端产品提供模型选型依据,也为计算机视觉硬件与算法的协同优化提供参考,助力加速实时检测技术的产业落地进程。
Ultralytics YOLO11 -Ultralytics YOLO 文档
模型优化平台 (AIMO) 用户指南 | APLUX Doc Center
YOLO系列Benchmark
|
模型 尺寸640*640 |
类型 |
CPU |
NPU QNN2.31 |
NPU QNN2.31 |
|||
|
FP32 |
FP16 |
INT8 |
|||||
|
目标识别 |
137 ms |
7.29 FPS |
3.17 ms |
314.56 FPS |
1.57 ms |
635.73 FPS |
|
|
目标识别 |
511 ms |
1.95 FPS |
5.63 ms |
177.56 FPS |
2.12 ms |
471.03 FPS |
|
|
目标识别 |
1312 ms |
0.76 FPS |
5.45 ms |
183.28 FPS |
3.77 ms |
265.04 FPS |
|
|
目标识别 |
3474 ms |
0.29 FPS |
29.02 ms |
34.45 FPS |
7.60 ms |
131.56 FPS |
|
|
目标识别 |
6122 ms |
0.16 FPS |
60.58 ms |
16.50 FPS |
15.30 ms |
65.36 FPS |
|
|
目标识别 |
112 ms |
8.93 FPS |
4.2 ms |
233.10 FPS |
1.49 ms |
673.40 FPS |
|
|
目标识别 |
495 ms |
2.02 FPS |
7.75 ms |
128.95 FPS |
2.35 ms |
424.81 FPS |
|
|
目标识别 |
800 ms |
1.25 FPS |
14.70 ms |
67.99 FPS |
4.57 ms |
219.06 FPS |
|
|
目标识别 |
1585 ms |
0.63 FPS |
28.72 ms |
34.82 FPS |
9.13 ms |
109.53 FPS |
|
|
目标识别 |
890 ms |
1.12 FPS |
18.16 ms |
55.06 FPS |
6.51 ms |
153.56 FPS |
|
|
目标识别 |
2037 ms |
0.49 FPS |
35.40 ms |
28.24 FPS |
11.51 ms |
86.91 FPS |
|
|
目标识别 |
170 ms |
5.85 FPS |
5.13 ms |
194.67 FPS |
1.83 ms |
547.65 FPS |
|
|
目标识别 |
513 ms |
1.95 FPS |
7.55 ms |
132.33 FPS |
2.62 ms |
381.97 FPS |
|
|
目标识别 |
1249 ms |
0.80 FPS |
16.66 ms |
60.01 FPS |
5.12 ms |
195.50 FPS |
|
|
目标识别 |
2341 ms |
0.43 FPS |
34.23 ms |
29.21 FPS |
9.26 ms |
107.97 FPS |
|
|
目标识别 |
3350 ms |
0.30 FPS |
57.71 ms |
17.33 FPS |
14.44 ms |
69.24 FPS |
|
|
目标识别 |
156 ms |
6.40 FPS |
5.19 ms |
192.60 FPS |
3.18 ms |
314.56 FPS |
|
|
目标识别 |
403 ms |
2.48 FPS |
7.44 ms |
134.28 FPS |
3.37 ms |
297.09 FPS |
|
|
目标识别 |
966 ms |
1.03 FPS |
15.6 ms |
64.02 FPS |
6.72 ms |
148.79 FPS |
|
|
目标识别 |
1394 ms |
0.72 FPS |
21.76 ms |
45.94 FPS |
7.85 ms |
127.32 FPS |
|
|
目标识别 |
1745 ms |
0.57 FPS |
28.27 ms |
35.37 FPS |
9.33 ms |
107.20 FPS |
|
|
目标识别 |
2326 ms |
0.43 FPS |
40.27 ms |
24.83 FPS |
13.00 ms |
76.91 FPS |
|
|
目标识别 |
150 ms |
6.62 FPS |
5.01 ms |
199.36 FPS |
2.19 ms |
456.83 FPS |
|
|
目标识别 |
437 ms |
2.28 FPS |
7.78 ms |
128.40 FPS |
3.19 ms |
313.48 FPS |
|
|
目标识别 |
1109 ms |
0.90 FPS |
18.00 ms |
55.53 FPS |
5.65 ms |
176.87 FPS |
|
|
目标识别 |
1452 ms |
0.69 FPS |
22.27 ms |
44.89 FPS |
7.39 ms |
135.28 FPS |
|
|
目标识别 |
2827 ms |
0.35 FPS |
52.25 ms |
19.14 FPS |
14.73 ms |
67.89 FPS |
|
|
目标识别 |
598 ms |
1.67 FPS |
10.68 ms |
93.62 FPS |
4.15 ms |
241.14 FPS |
|
|
目标识别 |
1442 ms |
0.69 FPS |
7.71 ms |
129.68 FPS |
3.60 ms |
278.01 FPS |
|
|
目标识别 |
1745 ms |
0.57 FPS |
14.06 ms |
71.08 FPS |
5.24 ms |
190.99 FPS |
|
|
分割 |
119 ms |
8.36 FPS |
18.38 ms |
54.40 FPS |
6.09 ms |
164.10 FPS |
|
|
分割 |
510 ms |
1.96 FPS |
10.58 ms |
94.50 FPS |
4.33 ms |
230.73 FPS |
|
|
分割 |
1568 ms |
0.64 FPS |
27.46 ms |
36.41 FPS |
8.06 ms |
124.02 FPS |
|
|
分割 |
1921 ms |
0.52 FPS |
29.66 ms |
33.71 FPS |
9.37 ms |
106.70 FPS |
|
|
分割 |
3981 ms |
0.25 FPS |
74.05 ms |
13.50 FPS |
22.70 ms |
44.05 FPS |
|
|
分类 |
120 ms |
8.27 FPS |
6.72 ms |
148.79 FPS |
3.54 ms |
282.33 FPS |
|
|
分类 |
300 ms |
3.33 FPS |
8.15 ms |
122.68 FPS |
4.43 ms |
225.58 FPS |
|
|
分类 |
676 ms |
1.48 FPS |
13.02 ms |
76.78 FPS |
5.70 ms |
175.50 FPS |
|
|
分类 |
918 ms |
1.09 FPS |
15.26 ms |
65.50 FPS |
7.23 ms |
138.37 FPS |
|
|
分类 |
1727 ms |
0.58 FPS |
30.14 ms |
33.18 FPS |
11.91 ms |
83.94 FPS |
|
|
姿态估计 |
231 ms |
4.32 FPS |
5.24 ms |
190.59 FPS |
2.21 ms |
452.28 FPS |
|
|
姿态估计 |
510 ms |
1.96 FPS |
7.56 ms |
132.14 FPS |
3.18 ms |
314.56 FPS |
|
|
姿态估计 |
1247 ms |
0.80 FPS |
17.73 ms |
56.40 FPS |
5.85 ms |
170.88 FPS |
|
|
姿态估计 |
1589 ms |
0.63 FPS |
22.45 ms |
44.54 FPS |
7.51 ms |
133.10 FPS |
|
|
姿态估计 |
3062 ms |
0.33 FPS |
54.74 ms |
18.27 FPS |
14.74 ms |
67.84 FPS |
|
|
OBB |
259 ms |
3.85 FPS |
5.00 ms |
199.80 FPS |
1.95 ms |
513.61 FPS |
|
|
OBB |
567 ms |
1.76 FPS |
7.42 ms |
134.68 FPS |
3.04 ms |
329.38 FPS |
|
|
OBB |
1319 ms |
0.76 FPS |
19.01 ms |
52.58 FPS |
5.70 ms |
175.50 FPS |
|
|
OBB |
1638 ms |
0.61 FPS |
23.45 ms |
42.64 FPS |
7.22 ms |
138.58 FPS |
|
|
OBB |
3209 ms |
0.31 FPS |
53.37 ms |
18.74 FPS |
15.25 ms |
65.59 FPS |
|
Tips:高通IQ9075关于YOLO系列Benchmark,以上数据仅用了其中一颗NPU 50T算力
更多推荐



所有评论(0)