一、Double Buffer 优化：提升并行效率

（一）优化原理

Double Buffer 利用MTE 指令队列与 Vector 指令队列的并行性，将 Local Memory（或 Unified Buffer）分为两块（UB_A、UB_B），实现 “数据搬运与计算并行”：

1. 第一阶段：MTE2 将数据搬入 UB_A，Vector 单元处理 UB_A 中的数据，同时 MTE2 将下一块数据搬入 UB_B。
2. 第二阶段：Vector 单元切换处理 UB_B 中的数据，MTE3 将 UB_A 的计算结果搬出，同时 MTE2 继续搬入下一块数据至 UB_A。
3. 循环执行：通过 “搬运 - 计算 - 搬出” 并行，减少 Vector 单元等待时间，提升利用率。

（二）Double Buffer 在 Add 算子中的实现

1. Queue 深度配置（启用 Double Buffer）

TQue<TQuePosition::VECIN, 2> inQueueX, inQueueY;
TQue<TQuePosition::VECOUT, 2> outQueueZ;

2. 循环次数调整

因 Double Buffer 需同时处理两块数据，循环次数需为分块数的 2 倍：

constexpr int32_t TILE_NUM = 16;  // 单核分块数（2048÷128）
constexpr int32_t LOOP_COUNT = TILE_NUM * 2;  // Double Buffer循环次数

for (int32_t i = 0; i < LOOP_COUNT; i++) {
    CopyIn(i);
    Compute(i);
    CopyOut(i);
}

3. 优化效果

二、数据分块（Tiling）优化：适配硬件缓存

（一）分块核心原则

数据分块需适配 Local Memory 容量与硬件并行能力，核心原则如下：

1. 单块数据不超过 Local Memory 容量：避免内存溢出，如 Add 算子中 Local Memory 容量 512KB，half类型单元素 2 字节，单块最大元素数 = 512×1024÷2=262144，实际取 128（平衡并行粒度与调度开销）。
2. 分块大小为硬件并行粒度的整数倍：如 Vector 单元支持 8/16 元素并行，分块大小设为 128（16×8），最大化并行效率。
3. 均衡分块数量：确保各 AI Core 处理的数据量相近，避免负载不均。

（二）Add 算子分块策略

（三）分块实现代码

// 分块参数定义（头文件）
constexpr int32_t TOTAL_ELEM = 8 * 2048;
constexpr int32_t BLOCK_NUM = 8;  // AI Core数量
constexpr int32_t BLOCK_ELEM = TOTAL_ELEM / BLOCK_NUM;  // 单核处理元素数
constexpr int32_t TILE_LENGTH = 128;  // 单块元素数
constexpr int32_t TILE_NUM = BLOCK_ELEM / TILE_LENGTH;  // 单核分块数

// 分块数据处理（CopyIn阶段）
__aicore__ inline void CopyIn(int32_t progress) {
    int32_t tileIdx = progress % TILE_NUM;  // 当前分块索引（0~15）
    int32_t coreIdx = kldx();  // 当前AI Core索引（0~7）
    // 计算当前核当前分块的元素偏移量
    int32_t elemOffset = coreIdx * BLOCK_ELEM + tileIdx * TILE_LENGTH;
    
    LocalTensor<half> xLocal = inQueueX.AllocTensor<half>();
    DataCopy(xLocal, xGm[elemOffset], TILE_LENGTH);  // 仅搬运当前分块数据
    inQueueX.EnQue(xLocal);
}

三、优化效果验证

通过npu-smi工具查看 AI Core 利用率，对比优化前后性能：

（一）优化前（无 Double Buffer + 不合理分块）

npu-smi info -t usages -i 0
# 输出：
# AI Core Utilization: 62%
# Memory Bandwidth: 45%
# 算子耗时：1.2ms

（二）优化后（Double Buffer + 合理分块）

npu-smi info -t usages -i 0
# 输出：
# AI Core Utilization: 91%
# Memory Bandwidth: 88%
# 算子耗时：0.8ms

（三）优化效果总结

训练营简介
2025 年昇腾 CANN 训练营第二季，基于 CANN 开源开放全场景，推出 0 基础入门系列、码力全开特辑、开发者案例等专题课程，助力不同阶段开发者快速提升算子开发技能。获得 Ascend C 算子中级认证，即可领取精美证书，完成社区任务更有机会赢取华为手机，平板、开发板等大奖。

报名链接
https://www.hiascend.com/developer/activities/cann20252?tab=overview