训练营简介

2025年昇腾CANN训练营第二季，基于CANN开源开放全场景，推出0基础入门系列、码力全开特辑、开发者案例等专题课程，助力不同阶段开发者快速提升算子开发技能。获得Ascend C算子中级认证，即可领取精美证书，完成社区任务更有机会赢取华为手机、平板、开发板等大奖。

在参加训练营的过程中，我深入探索了CANN CV算子架构的奥秘。CANN作为昇腾AI的核心基础软件平台，搭起了AI框架与昇腾硬件的桥梁，始终以 "使能每一位创新者" 为目标。本文将分享我在学习CANN CV算子架构过程中的理解和实战经验。

报名链接

CANN CV算子架构的核心组成

1. CANN基础架构概述

CANN（Compute Architecture for Neural Networks）是昇腾针对AI场景推出的异构计算架构，向上支持多种AI框架，包括MindSpore、PyTorch、TensorFlow等，向下服务AI处理器与编程，发挥承上启下的关键作用。通过系统学习，我理解到CANN可以被抽象成五层架构：

• AscendCL（Ascend Computing Language）接口层：作为昇腾计算开放编程框架，它提供Device管理、Context管理、Stream管理、内存管理、模型加载与执行等API库。

• 昇腾计算服务层：提供昇腾计算库，如神经网络库、线性代数计算库等，以及算子调优、子图调优等调优引擎库。

• 昇腾计算编译引擎：主要提供图编译器和TBE算子开发支持，将计算图编译成NPU运行的模型。

• 昇腾计算执行引擎：负责模型和算子的执行，提供运行时库、图执行器、数字视觉预处理等功能。

• 昇腾计算基础层：为上层提供基础服务，如共享虚拟内存、设备虚拟化、主机-设备通信等。

2. CV算子在CANN中的位置

在CANN架构中，CV（计算机视觉）算子主要通过AOL（Ascend Operator Library）算子加速库实现，该库提供了一系列丰富的深度优化、硬件亲和的高性能算子，如Neural Network、Digital Vision Pre-Processing算子等。这些算子是神经网络在昇腾硬件上加速计算的基础。

通过训练营的学习，我了解到CANN算子主要分为几大类：

• NN（Neural Network）算子：CANN内置的基础算子，接口前缀为aclnnXxx，主要覆盖TensorFlow、Pytorch、MindSpore、ONNX等框架中深度学习算法相关的计算类型。

• 融合算子：接口前缀同样为aclnnXxx，由多个独立的基础"小算子"融合成"大算子"，在性能或内存收益上优于小算子。

• DVPP（Digital Vision Pre-Processing）算子：接口前缀为acldvppXxx，提供高性能视频/图片编解码、图像裁剪缩放等预处理API。

CV算子的层次化设计

1. 算子开发语言：Ascend C

Ascend C是CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，通过多层接口抽象、自动并行计算、孪生调试等关键技术，极大提高算子开发效率。

在学习Ascend C编程时，我最初对它的并行计算模型感到困惑。通过实践，我发现Ascend C采用了两种主要的并行计算方法：SPMD（单程序多数据）和流水线 。核函数体现的是SPMD的编程思想，同时简化了用户的代码实现。开发代码时，只需要写单个AI Core核的实现代码。

2. 内存架构与数据流

理解CANN的内存架构是掌握CV算子性能优化的关键。Ascend AI处理器内部有Global Memory和Local Memory两级存储。Local Mem靠近计算单元，带宽非常高，但容量不大；而Global Mem容量大，但带宽不高。因此，我们需要将Global Mem的数据搬运到Local Mem上，进行运算，运算完成后再将运算结果从Local Mem搬运到Global Mem上。

在实际开发中，我经常使用Ascend C中的TPIPE编程范式，它实现了流水线方式的并行计算，可以显著提升数据吞吐量。

实战中的问题与解决方案

1. 算子开发中的常见挑战

在训练营的实践环节，我遇到了几个典型问题：

问题一：内存访问越界

刚开始开发自定义卷积算子时，经常出现内存访问越界的错误。通过使用CANN提供的分级日志系统和性能分析工具，我能够快速定位问题所在。特别是在复杂算子开发中，这些工具发挥了关键作用。

问题二：数据精度损失

在实现一些复杂的图像处理算子时，最初忽略了数据精度的问题，导致输出结果与预期有细微差别。通过查阅文档，我了解到CANN提供了多种数据精度支持，包括FP32、FP16、INT8等，根据算子的实际需求选择合适的数据精度至关重要。

问题三：性能优化瓶颈

最初实现的算子在性能上无法达到预期，通过使用向量化计算优化技巧，将数据处理从逐元素操作提升为批量操作，显著提升了计算效率。特别是在图像处理任务中，这种优化效果尤为明显。

2. 算子调试技巧

Ascend C算子支持孪生调试技术，可以在CPU和NPU两种环境中调试。这为开发者提供了极大便利：

• CPU域调试：在CPU侧调试时，可以使用gdb工具进行调试，还有指令LOG和NPUcheck主动错误分析工具。

• NPU仿真调试：提供了强大的指令日志和数据日志功能，便于分析和调试问题。

• 上板运行调试：支持打印板上运行统计，以及支持打印数据功能。

CANN CV算子的编译与运行

1. 算子编译流程

一个完整的CANN算子包含四部分：算子原型定义、对应开源框架的算子适配插件、算子信息库定义和算子实现。

TBE算子的编译流程包括：

1. 将开源框架网络模型下发给Graph Engine。

2. 调用算子插件，将原始网络模型中的算子映射为适配昇腾AI处理器的算子。

3. 调用算子原型库校验接口进行基本参数的校验，校验通过后，会根据原型库中的推导函数推导每个节点的输出shape与dtype。

4. Graph Engine向FE发送图优化请求，FE匹配融合规则进行图融合，并进行算子选择。

5. 将图拆分为子图并进行TBE算子预编译，将其编译成算子kernel。

6. 图编译完成后生成适配昇腾AI处理器的模型。

2. 模型部署与推理

基于CANN的模型推理应用开发主要使用AscendCL（Ascend Computing Language）接口，它是用于在昇腾平台上开发深度神经网络推理应用的C语言API库。模型离线推理步骤包括：

1. Host&Device内存管理与数据传输：Host&Device上的内存申请与释放，内存间的相互拷贝。

2. 模型加载：将离线的om文件加载到Device上。

3. 模型输入输出准备：根据离线om的输入输出，在Device上申请好模型的输入输出内存。

4. 执行推理：当模型的输入内存获取到有效数据后，便可以调用AscendCL接口执行模型推理。

5. 输出解析：使用AscendCL接口，将模型输出数据从特定格式中解析出来。

学习心得与生态价值

通过系统学习CANN CV算子架构，我深刻体会到昇腾生态的开放性。CANN社区已经汇聚了6000多名认证开发者，共同构建了丰富的算子库。这种开放协作的模式，让我能够站在前人的肩膀上，更快地实现自己的创意。

对于想要入门CANN开发的同行，我建议从理解架构设计哲学开始，先掌握整体脉络，再深入具体实现细节。CANN CV算子架构的分层思想不仅体现在技术实现上，更是一种解决问题的思维方式——将复杂问题分解，在不同层次逐个击破。

值得一提的是，掌握CANN CV算子架构的基础后，环境搭建就成为了实践的关键第一步——这正是我们将在下一篇文章中详细探讨的CANN CV训练营-模型部署入门的Ubuntu环境安装指南。

从最初的迷茫到现在的熟练运用，CANN CV算子架构不仅提升了我的技术能力，更改变了我对AI计算基础设施的认知。在这个AI快速发展的时代，掌握底层算子开发能力，无疑为我们打开了一扇通向更广阔天地的窗口。