算子开发中的 Tile 策略：基于 L1/L2 缓存的访存优化

前言

在深度学习推理和训练的算子开发中，如何高效地利用计算平台硬件抽象层上的片上存储资源，特别是 L1 和 L2 缓存，是决定算子性能的关键因素之一。CANN 兼容系统的内存层次结构设计独特，其强大的计算能力往往受到访存带宽的限制。因此，精妙的“Tile 策略”成为实现高性能算子设计的核心技术。

本文将以开源项目为基础，特别是 asnumpy 仓库中的实现逻辑，深入探讨算子开发中如何运用 Tile 策略，结合 L1/L2 缓存机制，实现访存优化。

核心技术原理：内存层次与 Tile 策略

计算平台硬件抽象层上的内存层次结构通常包括：

1. 全局内存 (Global Memory)：容量大，带宽相对较低，延迟高。
2. L2 缓存 (Local Memory)：容量适中，用于存储更大规模的中间结果或数据块，其访问速度远快于全局内存。
3. L1 缓存 (Internal Storage)：容量最小，但访问速度最快，通常用于存储单次计算所需的最热数据。

Tile 策略的核心思想是将大规模的张量运算分解为一系列更小的、可以在 L1 或 L2 缓存中完全容纳的子任务（Tiles）。通过合理规划 Tile 的大小和数据加载顺序，可以最大化数据重用率，减少对慢速全局内存的访问次数，从而实现访存优化。

这种策略遵循**“数据局部性原理”**：尽可能在数据被加载到高速缓存后，立即完成对该数据的所有计算，避免数据被其他计算任务替换出缓存。

架构分析：以 asnumpy 仓库为例

在计算平台算子开发中，Tile 策略的实现通常体现在 Ascend C 编程模型或更底层的 AI Core 逻辑中。asnumpy 仓库提供了类 Numpy 的 API 封装，其底层逻辑展示了高性能算子在处理数组运算时的通用架构。

1. L2 缓存的使用

对于需要较大工作集（如矩阵运算中的权重矩阵或特征图的局部区域）的算子，L2 缓存是首选的暂存区。

在架构设计中，Tile 策略通常表现为：

• 分块加载 (Blocking Load)：将大型矩阵或张量沿着维度进行分块。例如，在矩阵乘法中，将输入矩阵划分成能够适配 L2 缓存容量的块。
• 多层级循环嵌套优化：在 Ascend C 算子逻辑中，通常会设计多层循环结构，分别对应从全局内存到 L2，以及从 L2 到 L1 的数据搬运与计算控制。

通过这种方式，可以确保在 L2 缓存中，数据块可以被重复利用多次，直到完成该区域对应的输出计算。

2. L1 缓存与寄存器资源的利用

L1 缓存的优化更加精细，它直接关系到 AI Core 计算单元的效率。在硬件架构中，L1 缓存通常紧邻向量计算单元。

• 向量化匹配：算子实现需要确保 Tile 的大小精确匹配 AI Core 的向量处理单元宽度，以实现最大程度的并行。
• 流水线并行：开发者通过 Ascend C 提供的同步指令，管理数据在不同存储层级间的搬运。Tile 策略的成功与否，直接决定了计算指令与搬运指令能否实现高效的流水并行。如果 Tile 过大，会导致缓存溢出；如果 Tile 过小，则无法掩盖指令启动的开销。

逻辑流程：Tile 大小的确定

Tile 策略的优化是一个平衡存储容量、计算量和访存带宽的过程。

1. 确定 L2 Tile 边界：
   L2 Tile 的大小主要受限于 L2 缓存的总容量和算子的内存访问模式。一个经验法则是，L2 Tile 应该足够大，以容纳一次核心计算循环所需的所有输入数据，同时预留空间给输出结果，确保减少从全局内存重复加载数据的频率。

2. 确定 L1 Tile 粒度：
   L1 Tile 的大小则直接受限于 AI Core 的内部存储资源和向量宽度。设计必须保证在执行计算时，所有必要的操作数都能同时驻留在最快存储层中，以实现最大吞吐量。

3. 访存模式的序列化：
   Tile 策略不仅关乎大小，还关乎遍历顺序。通过优化“平铺和分块”的先后顺序，可以确保数据以连续的、符合硬件预取机制的方式被访问，从而进一步提升带宽利用率。

总结

算子开发中的 Tile 策略是实现计算平台高性能的关键。它本质上是对内存层次结构的一次精细化调度，旨在最大化 L1/L2 缓存的命中率和数据重用率。通过对 asnumpy 等仓库中逻辑架构的分析，可以看到成功的 Tile 策略需要精确适配硬件存储限制，并设计出与计算模式完美匹配的数据加载顺序。

cann组织链接：https://atomgit.com/cann
asnumpy仓库链接：https://atomgit.com/cann/asnumpy