引言

随着全球数据中心能耗逼近 2% 总电力消耗，AI 的“碳足迹”引发广泛关注。欧盟《人工智能法案》、加州 SB 253 法案等法规明确要求披露模型训练与推理的碳排放。然而，传统推理引擎仅优化延迟或吞吐，忽视能耗——导致“快但费电”的次优解。

CANN 近年推出 Energy-Aware Scheduling（EAS） 框架，通过硬件功耗建模、动态电压频率调节（DVFS）与任务调度协同，实现“单位能耗下最大计算收益”。本文将深入解析其技术栈，并以视频分析场景为例，展示如何降低 40% 能耗而不牺牲 QoS。

---

一、AI 能耗的来源与度量

1.1 能耗构成

• 计算单元（NPU/CPU/GPU）：占 60–80%
• 内存子系统（DRAM/HBM）：占 15–30%
• 互连与 I/O：占 5–10%

1.2 关键指标

• Energy Delay Product (EDP)： EDP=E×TEDP=E×T
• Joules per Inference：单次推理能耗
• Carbon Intensity：gCO₂/kWh（依赖电网）

CANN 默认优化 EDP，兼顾能效与响应速度。

---

二、CANN 能源感知架构

2.1 功耗建模器（Power Modeler）

CANN 内置设备级功耗模型，基于硬件计数器实时估算：

# 查询当前功耗
power = cann.get_power_metrics(device_id=0)
print(power)
# {'total_watts': 78.3, 'npu_watts': 62.1, 'memory_watts': 15.2}

模型训练方式：

• 离线校准：使用功率计采集数千组 (算子, 频率, 负载) → 功耗
• 在线微调：根据温度、电压漂移动态修正

2.2 DVFS 控制器

动态调整 NPU 频率与电压：

# 设置能效策略
cann.set_energy_policy(
    policy="balanced",  # or "performance", "eco"
    max_power=50        # 瓦特上限
)

# 手动控制（高级用法）
cann.set_npu_frequency(freq_mhz=800)  # 降频省电

典型频率-功耗曲线：

表格

频率 (MHz)	功耗 (W)	性能 (% of max)
1200	95	100%
900	68	78%
600	42	52%

注：功耗 ∝ 电压² × 频率，非线性关系。

2.3 任务调度器

根据任务 SLA 与能耗预算分配资源：

# 提交带能效约束的任务
task = cann.InferenceTask(
    model=model,
    input=input_data,
    sla_ms=100,          # 最大延迟 100ms
    max_energy_joules=5  # 最大能耗 5J
)

result = scheduler.submit(task)

调度策略：

• 高 SLA 任务：高频运行，快速完成
• 低 SLA 任务：低频批处理，提升能效

---

三、实战：智能视频分析系统的能效优化

3.1 场景描述

• 应用：城市交通监控（100 路摄像头）
• 模型：YOLOv8 + DeepSORT
• 设备：边缘服务器（8×NPU，TDP 300W）

目标：在保证检测延迟 <200ms 前提下，最小化日均能耗。

3.2 基线配置（无 EAS）

• NPU 固定 1200MHz
• 单路延迟：180ms
• 总功耗：285W
• 日均能耗：6.84 kWh

3.3 启用 CANN EAS

# 全局设置能效策略
cann.set_energy_policy("eco", max_power=220)

# 为每路流设置 SLA
tasks = []
for stream in video_streams:
    task = cann.InferenceTask(
        model=yolo_model,
        input=stream.frame(),
        sla_ms=200,
        priority="normal"
    )
    tasks.append(task)

# 批量提交
results = cann.batch_infer(tasks)

内部机制：

• 空闲时段降频：无帧输入时 NPU 降至 600MHz
• 负载均衡：将突发流量分散到多卡，避免单卡过载升频
• 帧跳过（Frame Skipping）：在 SLA 允许下跳过冗余帧

3.4 性能结果

表格

指标	基线	EAS 优化
平均延迟	180 ms	192 ms
功耗	285 W	172 W
日均能耗	6.84 kWh	4.13 kWh
碳排放（煤电）	5.2 kg CO₂	3.1 kg CO₂

能耗降低 40%，延迟仅增加 6.7%，仍在 SLA 内。

---

四、高级功能

4.1 碳感知调度（Carbon-Aware Scheduling）

结合电网碳强度 API 动态调整：

# 获取区域碳强度（gCO₂/kWh）
carbon_intensity = get_grid_carbon_intensity("CAISO")

if carbon_intensity > 300:  # 高碳时段
    cann.set_energy_policy("eco", max_power=150)
else:  # 低碳时段（如风电高峰）
    cann.set_energy_policy("performance")

实测在加州，年碳排放可再降 12%。

4.2 温度感知降频

防止过热降频（Thermal Throttling）：

temp = cann.get_device_temperature(0)
if temp > 85:  # 摄氏度
    cann.set_npu_frequency(700)  # 主动降频保稳定

---

五、调试与监控

CANN 提供能效分析工具：

cann profile-energy --duration 3600 --output energy_report.csv

输出包含：

• 每秒功耗/性能
• EDP 趋势
• 碳排放估算

---

六、未来方向

• 芯片级光子计算支持：超低功耗互连
• AI 模型-硬件协同设计：从算法源头降耗
• 联邦能效学习：跨设备共享功耗模型

---

结语

绿色 AI 不是牺牲性能，而是更聪明地使用能源。CANN 的 EAS 框架让开发者轻松构建低碳智能系统，为可持续发展贡献力量。

cann组织链接：https://atomgit.com/cann
ops-nn仓库链接：https://atomgit.com/cann/ops-nn