CANN 组织链接： https://atomgit.com/cann
GE 仓库链接： https://gitcode.com/cann/ge

---

1. GE (Graph Engine) 在 CANN 软件栈中的核心地位

CANN 异构计算架构的性能实现，高度依赖于对计算图的深度优化和高效执行。GE（Graph Engine）作为面向昇腾处理器的图编译器和执行器，是连接上层深度学习框架（如 PyTorch/TensorFlow）前端与底层 Runtime 的关键桥梁。

GE 的核心职能是将前端框架输入的、逻辑层面的计算图，通过一系列优化转换，转化为适配昇腾 NPU 硬件特性的低延迟执行序列。它在编译阶段完成算子融合、内存静态规划和任务流调度，并将最终结果固化为离线模型（OM 文件）。GE 的优化质量直接决定了模型在 NPU 上的执行效率。

2. 图编译器的后端优化管线：从逻辑到物理的转换

GE 启动后，会对输入的 IR（Intermediate Representation）图执行多阶段的优化，旨在最大化硬件资源的利用率。

2.1 算子拆分与格式传播（Format Propagation）

为了提高计算效率，GE 必须确保数据以 NPU 最优的格式在核心计算单元之间流动。

• 格式依赖分析： GE 分析图中各个算子的输入输出格式要求。例如，卷积算子通常偏好 NC1HWC0 格式。
• 格式传播： 编译器会尝试将数据格式“传播”到计算图的更前端。如果一个算子的输入和输出格式均满足特定要求，那么中间的格式转换算子（TransData）就可以被消除，从而避免了不必要的内存重排开销。

2.2 算子融合（Operator Fusion）的深度应用

算子融合是 GE 优化中最直接提升性能的手段，其核心在于消除中间结果的 Global Memory 读写。

• 局部性优化： GE 识别并合并连续的计算单元操作。例如，将 MatMul + Add + Activation 序列合并。融合后的操作保证了数据在片上本地内存（L1/L0 缓冲区）中完成所有逻辑步骤，消除了中间结果回写到 HBM 的访存操作。
• Tiling 策略的继承： 在融合过程中，GE 需确保新生成的融合算子的 Tiling 策略能够同时满足原各个原子算子的最佳数据局部性要求。

2.3 静态内存规划与复用

为了减少运行时显存分配的开销并优化显存占用，GE 在编译阶段完成了所有内存的静态分配。

• 生命周期分析： GE 确定了每个中间张量的生存周期。
• 地址复用： 对于生命周期不重叠的张量，GE 将其分配到相同的物理显存地址上，实现了显存资源的复用，从而降低了模型的总显存需求。

3. 执行引擎的任务调度与并发控制

GE 生成的 OM 文件包含了执行序列，Runtime 负责依据此序列调度硬件资源。

3.1 Stream 调度与依赖管理

GE 在图编译阶段便确定了任务的并行粒度。

• Stream 分配： 相互独立的计算子图会被分配到不同的硬件 Stream 中。
• 同步点插入： GE 会在不同 Stream 之间插入同步点（Event Wait/Record）。这确保了数据依赖得到满足，例如，计算 Stream 必须等待数据搬运 Stream 完成加载后才能开始执行。

3.2 模型下沉（Model Sinking）技术

在训练场景中，GE 优化了 Host-Device 之间的交互。

• 控制流下沉： 针对包含大量迭代（如训练 Step 或 RNN 循环）的计算结构，GE 会将整个循环逻辑及其内部的计算图编译为一个整体任务下沉到 NPU。
• Host 负载最小化： 一旦下沉完成，Host CPU 仅需发送一次启动信号，并在循环结束时接收结果，从而将 CPU 从高频的迭代控制中解放出来，专注于 I/O 和调度管理。

4. 动态适应性与模型兼容性

GE 确保了模型部署的灵活性和前向兼容性。

4.1 动态形状（Dynamic Shape）支持

GE 能够处理输入张量维度在运行时变化的场景。

• 档位编译： 编译器为预设的输入形状档位生成对应的 Tiling 策略和内存规划。
• 运行时匹配： Runtime 接收到实际输入后，根据输入维度匹配最优的预编译档位，实现高效的动态执行。

4.2 跨框架兼容性与解析器（Parser）

GE 提供了对多种模型格式的解析能力。

• ONNX/PB 解析： GE 内置的 Parser 模块负责解析这些标准化的模型文件，将其转换为 CANN 内部 IR。
• 前端适配： 通过与 PyTorch/TensorFlow 前端的 Adapter 协同，GE 能够理解框架特有的算子语义，并将其映射到 CANN 算子库（如 ops-nn, ops-math）中已有的高性能实现上。

5. 总结

CANN GE 是一个复杂的、多阶段的优化编译器。它通过融合、格式转换、内存复用和 Stream 调度，将高层算法逻辑转化为底层硬件最高效的执行路径。对 GE 编译过程的理解，是优化模型性能、确保异构计算稳定性的核心技术环节。

---

CANN 组织链接： https://atomgit.com/cann
GE 仓库链接： https://gitcode.com/cann/ge