模型压缩（Model Compression） 的十年（2015–2025），是从“舍弃次要权重”向“极致量化”，再到“硬件-软件-模型三位一体协同方案”的演进。

这十年中，模型压缩完成了从实验性优化到大模型端侧化（On-device AI）核心基础设施的跨越。

一、 核心演进的三大技术范式

1. 结构化剪枝与低秩分解期 (2015–2018) —— “权重的精简”

• 核心特征： 针对卷积神经网络（CNN）的参数冗余，进行剪枝（Pruning）。

• 技术跨越：

• 权重剪枝： 移除接近于零的权重。2015 年韩松（Song Han）提出的“深度压缩（Deep Compression）”框架奠定了行业基础。

• 知识蒸馏（Knowledge Distillation）： 2015 年 Hinton 提出让“小模型”模仿“大模型”的软输出（Soft Targets），开启了教师-学生模型的范式。

• 痛点： 剪枝后的稀疏矩阵在通用硬件上难以获得真实的计算加速，往往“减量不减时”。

2. 量化技术与混合精度期 (2019–2022) —— “比特的压榨”

• 核心特征： 从 FP32 转向 INT8/INT4 甚至更低位宽。

• 技术跨越：

• 训练后量化（PTQ）与量化感知训练（QAT）： 模型不再需要数万个 32 位浮点数。

• LLM 特化压缩（2022）： 随着 Transformer 爆发，出现了针对大模型的量化算法（如 SmoothQuant, GPTQ），实现了在 16GB 显存内跑千亿参数模型。

• 里程碑： 实现了“无损量化”，在精度损失极低的前提下将模型体积缩小 4-8 倍。

3. 2025 极低比特、神经架构搜索与内核级动态压缩时代 —— “端侧原生化”

• 2025 现状：
• 1.58-bit (Binary/Ternary) 时代： 2025 年，BitNet 等技术的成熟使得大模型可以运行在极低位宽上，计算由复杂的乘法变为了简单的加法。
• eBPF 驱动的动态资源压榨： 在 2025 年的移动端 OS 中，系统利用 eBPF 在内核层实时监测 NPU 的热负载。根据系统资源，eBPF 会动态调整模型各层的量化精度（Mixed-precision），实现性能与功耗的秒级平衡。
• 硬件感知 NAS (Neural Architecture Search)： 压缩不再是后处理，而是利用 AI 自动搜索最适合当前芯片（如 B200 或端侧 NPU）的微架构。

二、 模型压缩核心维度十年对比表

三、 2025 年的技术巅峰：当压缩成为“内核行为”

在 2025 年，模型压缩的先进性体现在其对能源的极致尊重：

1. eBPF 驱动的“动态比特流”：
   在 2025 年的智能手表或眼镜中，电池续航是核心。

• 内核态动态切换： 工程师利用 eBPF 钩子监控电池电量。当电量低于 20% 时，eBPF 会触发指令，将推理引擎实时切换到 2-bit 版本的压缩模型。虽然精度略降，但功耗可降低 70%，确保设备不关机。

2. 全链路蒸馏与合并：
   现在的压缩是“深层语义蒸馏”。小模型不仅学到了大模型的输出结果，还通过思维链（CoT）蒸馏学到了大模型的推理逻辑，使 2B 规模的模型也能具备早期 175B 模型的复杂问题处理能力。
3. HBM3e 与亚秒级模型权重换入换出：
   利用 2025 年的高带宽内存，系统可以根据用户的当前操作，在亚毫秒内将不同的“量化适配器（LoRA）”换入 NPU。这意味着一个压缩模型可以瞬间从“翻译模式”切换到“代码调试模式”。

四、 总结：从“减重”到“重构”

过去十年的演进，是将模型压缩从**“昂贵的精度换空间工具”重塑为“赋能全球数十亿终端设备实现实时智能、具备内核级动态管理能力的数字工业标尺”**。

• 2015 年： 你在纠结为了把 VGG 塞进手机，剪掉一半参数后准确率掉了 5%。
• 2025 年： 你在利用 eBPF 审计下的量化框架，将万亿级参数的 MoE 模型以 2-bit 精度流畅运行在你的 AR 眼镜上，续航还撑过了一整天。