CANN 组织链接： https://atomgit.com/cann
runtime 仓库链接： https://gitcode.com/cann/runtime

---

1. Runtime 组件在昇腾计算架构中的功能定义

在异构计算软件栈中，运行时（Runtime）是连接逻辑计算图与物理硬件资源的执行中枢。它处于图引擎（Graph Engine）与硬件驱动（Driver）之间，承担着资源抽象、任务编排、内存调度以及执行监控的核心职能。runtime 仓库不仅提供了支撑算子下发与同步的运行时环境，还集成了一套完整的维测（Maintenance & Measurement）工具集，用于对 NPU 的执行状态进行深度观测。

Runtime 的存在实现了应用逻辑与底层硬件细节的解耦。应用层通过调用标准化的接口（如 AscendCL），驱动 Runtime 完成对 AI Core、AICPU 以及数据搬运单元（MTE）的协同调度，从而保证了计算任务在高度并发的异构环境下的有序执行。

2. 异构任务调度机制：Stream 与 Event 的并发控制

Runtime 的执行模型基于异步调度逻辑，其核心是通过 Stream（流）和 Event（事件）来实现任务的流水线化。

2.1 Stream 的逻辑序列与执行保障

Stream 是计算任务在 NPU 上的逻辑组织形式。

• 有序下发： Runtime 接收来自应用层的算子执行请求，并将其按顺序压入指定的 Stream 队列。在单一 Stream 内部，任务严格遵循先入先出的原则，确保了数学逻辑的拓扑一致性。
• 多流并行： Runtime 支持多个 Stream 的并发执行。调度引擎会根据硬件资源的空闲情况，将不同 Stream 的任务分配到物理执行核心。这种机制掩盖了算子启动（Kernel Launch）的系统延迟，提升了硬件的整体吞吐效率。

2.2 Event 同步原语与跨流协同

当不同计算流之间存在数据依赖时，Runtime 利用 Event 组件进行精细化同步。

• 同步令牌： Event 充当了硬件级的信号量。当 Stream A 完成特定任务时，Runtime 会触发一个 Event 的记录操作；Stream B 则通过等待该 Event 来决定启动时机。
• 降低 CPU 干预： 这种同步直接由硬件任务调度器（Task Scheduler）在 Device 侧完成，无需 Host 侧 CPU 的实时轮询，极大地降低了异构通信的开销和延迟。

3. 存储管理策略：地址映射与静态内存池

显存管理是 Runtime 性能优化的关键点。昇腾处理器通常使用高带宽内存（HBM），其访存效率受地址对齐和分配方式影响显著。

3.1 地址空间隔离与内存对齐

Runtime 负责管理设备侧的独立地址空间。

• 对齐规则： 在进行内存分配时，Runtime 会强制执行 32 字节或 64 字节的地址对齐。这一设计是为了适配硬件搬运单元（MTE）的突发传输特性，确保数据在从全局内存加载到片上高速缓存时能够占满总线位宽。
• 虚拟寻址： Runtime 维护了应用层虚拟地址到设备侧物理地址的映射关系，确保多进程环境下内存资源的安全性与隔离性。

3.2 静态显存池优化

频繁的动态内存申请（malloc/free）会导致系统调用开销激增并产生显存碎片。

• 预分配机制： Runtime 集成了显存池管理模块。在模型初始化阶段，它会根据图引擎生成的内存拓扑图，一次性申请大块连续内存并进行逻辑划分。
• 复用调度： Runtime 通过监测张量的生命周期，实现在时间维度上互不重叠的中间变量共享同一块物理地址。这种机制有效地缓解了超大模型在显存容量限制下的运行压力。

4. 维测功能组件：全链路监控与诊断机制

runtime 仓库中的维测组件是保障系统稳定运行的监控系统，涵盖了从性能采集到异常恢复的完整路径。

4.1 性能采集（Profiling）的底层路径

Profiling 组件能够实时记录 NPU 硬件的微观活动。

• 耗时分析： Runtime 能够捕获每个 Task 的执行起始与结束时间戳，并精确到微秒级。通过这些数据，开发者可以量化算子的计算效率与内存搬运的时间占比。
• 硬件计数器读取： 维测组件支持读取 AI Core 内部的硬件计数器（PMU），统计 Cube 和 Vector 单元的活跃占比、Cache 命中率以及总线带宽利用率。这为识别系统的性能瓶颈提供了数据依据。

4.2 异常分析与故障恢复（Dump & Exception Handle）

在复杂算子执行或大规模训练任务中，维测组件负责保留故障的第一现场。

• AI Core Error 诊断： 当硬件触发异常中断（如非法内存访问）时，Runtime 捕获异常信号，并自动提取当前的寄存器状态快照和程序计数器（PC）指针。
• 数据转储（Dump）： 组件支持将中间层的张量数值转储到磁盘。通过比对预期值与 Dump 值，开发者可以快速定位算法实现的溢出或逻辑缺陷问题。

5. Runtime 与底层驱动的通信接口逻辑

Runtime 并不直接操作寄存器，而是通过标准的内核调用接口与驱动层交互。

5.1 指令下发管线

Runtime 将用户态生成的任务描述符（Task Descriptor）封装为 IO 控制指令。

• 非阻塞通信： 下发指令后，Runtime 会立即向应用层返回状态，由底层的任务调度器（TS）接管后续的硬件分发逻辑。
• 多核心映射： 对于多核（Multi-core）并行场景，Runtime 负责将逻辑计算任务映射到物理核心编号，实现算力资源的动态负载均衡。

5.2 状态反馈回路

通过硬件中断和共享内存区域，驱动层将 Task 的执行结果和状态信息反馈给 Runtime。Runtime 更新 Event 的状态位，并释放后续被阻塞的任务，从而完成整个异构计算的闭环控制。

6. 总结

CANN Runtime 运行时组件与维测功能组件构建了昇腾算力资源的管理边界。它通过 Stream 和 Event 机制解决了异步并发的有序性问题，通过静态内存池技术提升了访存效率，并通过深度的维测体系为异构计算的“黑盒”提供了透明度。理解 Runtime 的底层执行与调度逻辑，是实现深度学习模型极致性能调优、确保算子开发质量以及维护大规模分布式计算集群稳定性的基础工程前提。

---

CANN 组织链接： https://atomgit.com/cann
runtime 仓库链接： https://gitcode.com/cann/runtime