算子优先

算子能力是基础，唯有优秀的算子能力才能保障单机和集群性能的卓越表现。

昇腾亲和优化策略

昇腾AI处理器基于高度并行的架构设计，在指令级并行和数据搬运效率方面进行了深度优化。例如，在数据访问单元设计上，昇腾的Cache Line大小达到512字节，显著高于业界常见的32字节水平，能够有效提升大粒度数据传输的带宽利用率，降低访存延迟。因此，在编程与算子优化过程中，建议尽可能对齐硬件特性，提升数据局部性，使每次内存操作处理更大规模的数据，从而充分发挥高带宽、大吞吐的优势。

模型设计策略

模型应尽可能多地利用矩阵运算，并充分复用AI Core（矩阵计算单元），以提升整体效率。

计算

算子性能符合预期 (矩阵乘计算利用率，MTE搬运流水利用率等)。

计算集中于AI Core，充分利用Cube资源。

消除AI CPU算子和非亲和算子及算法逻辑优化。

充分利用融合算子。

通信

通信带宽符合预期，未发生通信重传等问题。

各卡通信时间相对均衡，无明显快慢卡问题。

通算并行，计算尽可能掩盖通信时间。

下发

Free占比尽可能小。

计算掩盖调度时间。

IO/内存问题消除。

服务化推理

模型推理部分时延逼近纯模型性能。

最小化Batch间CPU任务占比。

调优调度参数和batch上限在时延约束下显存占满最大化吞吐。