异构多核编程模型：计算图任务下发至 Cube/Vector 核心的逻辑架构

前言

在计算平台硬件抽象层（CANN）兼容系统中，异构计算能力是其核心优势。该架构通过高度并行化的设计，特别是针对深度学习场景定义的 AI Core（包含 Cube Core 与 Vector Core），实现了卓越的计算效率。为了充分释放硬件潜力，高效的任务调度与异构编程模型至关重要。

本文将从技术架构视角，深入剖析基于计算图的中间表示（Intermediate Representation）如何驱动任务下发，探讨数据如何从逻辑计算图转化为在 Cube 和 Vector 核心上执行的具体指令流。我们将重点参考 ge 仓库中的设计理念，分析其背后的多核编程模型与图引擎机制。

核心技术原理：计算图与异构调度

计算平台硬件抽象层采用典型的异构多核架构，其核心计算单元包括：

1. Cube Core (张量计算核心): 专为矩阵乘法和累加（MAC）优化，执行深度学习中的核心算子（如卷积、全连接层）。
2. Vector Core (向量计算核心): 擅长执行元素级操作（如激活函数、归一化、数据预处理等）。
3. Scalar Core (标量核心): 负责控制流、数据移动和系统级管理。

核心引擎（Graph Engine）的角色定位

在整个软件栈中，图引擎负责衔接上层框架与底层执行资源。它将计算逻辑抽象为统一的图表示，并支持后端的自动优化与调度。

• 逻辑抽象： 计算图不直接绑定特定寄存器，而是描述计算的逻辑意图。
• 异构分布： 一张完整的计算图可以包含针对不同硬件核（Cube/Vector）的子图，描述任务在异构资源上的分布。
• 指令转换： 负责将基于 Ascend C 开发的算子逻辑映射到最终的硬件执行流。

任务下发逻辑流程

任务从逻辑定义到硬件执行的转换流程如下：

算子编译（Ascend C） $\to$ 全局计算图生成 $\to$ 逻辑图优化与融合 $\to$ 资源分配与任务切分 $\to$ 运行时（Runtime）指令下发

在该流程中，关键在于如何将计算节点映射到 Cube/Vector 的执行单元，并解决多核间的同步与数据交互问题。

架构分析：计算任务的硬件映射

参考 ge 仓库的架构设计，系统通过以下机制实现硬件映射：

1. 算子映射与资源声明

每个算子节点都携带元数据，指示其执行目标。Cube 任务声明张量维度与内存布局，由编译器匹配对应的调度模板；Vector 任务则侧重于元素级吞吐量与数据粒度的匹配。

2. 数据依赖与多核协同

系统通过数据依赖图（DDG）管理并行性。对于 Cube 和 Vector 的混合任务（如卷积后接激活），架构设计确保了跨核数据传输（通过内部缓存或共享内存）的精确同步，只有前序数据准备就绪，后续指令流才会被激活。

3. 指令生成逻辑

后端编译器将逻辑描述转换为目标硬件指令。Cube 指令侧重于配置 MAC 阵列与循环结构优化；Vector 指令则涉及向量寄存器分配与 SIMD 宽度操作。最终，这些指令被封装为任务块，通过硬件调度单元下发。

性能优化逻辑：驱动硬件利用率

通过优化计算图描述，可以最大化 Cube 和 Vector 核心的利用率：

1. 内存层次优化

架构设计必须适配复杂的内存层次（L0/L1/L2 缓存）。通过优化循环结构，最大化数据在靠近计算单元缓存中的重用，并为 Vector 核心生成高效的预取策略。

2. 算子融合机制

为最小化跨核通信开销，图引擎会尝试将连续的 Cube 与 Vector 任务进行融合。例如，将卷积与后续的激活操作合并为一个任务块，使中间结果驻留在高速缓存中，避免频繁读写全局内存。

3. 负载均衡调度

高效的下发机制依赖于对计算量和执行时间的预估。调度器根据各核心的负载情况合理分配资源，避免异构核心之间出现不必要的等待。

总结

计算平台硬件抽象层的异构多核编程模型，通过统一的图引擎机制，在抽象计算描述与底层硬件执行之间架起了桥梁。这不仅是一种中间表示，更是一种指导资源分配、调度优化和指令生成的完整架构框架。深入理解这类架构设计，是实现高效异构计算的关键。

---

cann组织链接：https://atomgit.com/cann
ge仓库链接：https://atomgit.com/cann/ge