• 个人首页： VON

• 鸿蒙系列专栏： 鸿蒙开发小型案例总结

• 综合案例 ：鸿蒙综合案例开发

• 鸿蒙6.0：从0开始的开源鸿蒙6.0.0

• 鸿蒙5.0：鸿蒙5.0零基础入门到项目实战

• 本文章所属专栏：《AI从0到1：普通人也能掌握的智能革命指南》

引言：推理成本正在吞噬大模型的未来

2025 年，一个千亿参数大模型的一次完整推理（如生成 512 个 token）在 A100 上耗时约 1.2 秒，成本高达 0.02 美元。若日均请求量达 1000 万次，仅推理成本就超 20 万美元/天。

更严峻的是，用户对响应速度的要求日益苛刻——超过 800ms 的延迟将导致 50% 以上用户流失（Google 用户体验研究）。

因此，推理优化已从“性能调优”升级为“商业生死线”。它不仅关乎用户体验，更直接决定大模型产品的盈亏平衡点。

幸运的是，过去两年，社区在推理优化领域取得突破性进展：通过一系列软硬协同技术，推理速度提升 10–100 倍，成本降低 90%+ 成为可能。

本文将系统解析大模型推理优化的十大核心技术，涵盖模型压缩、推理引擎、内存管理、服务调度等维度，为构建高性价比 LLM 服务提供实战指南。

---

一、为什么大模型推理如此昂贵？

理解优化前提，需先剖析推理瓶颈：

1.1 计算密集：Attention 是“吞金兽”

• Self-Attention 的复杂度为 $O(n^2)$，生成第 $t$ 个 token 需计算与前 $t-1$ 个 token 的注意力
• 千亿模型单次 forward 需执行 万亿级浮点运算

1.2 内存墙：权重搬运远慢于计算

• Llama-70B 模型 FP16 权重达 140GB，远超 GPU 显存（H100 80GB）
• 即使使用模型并行，频繁的 CPU-GPU 或 GPU-GPU 数据传输成为瓶颈

1.3 自回归生成：无法并行

• 每个 token 依赖前序输出，难以像训练那样批量并行
• 导致 GPU 利用率常低于 30%

优化核心目标：减少计算量 + 减少访存量 + 提升硬件利用率

---

二、十大推理优化关键技术

技术 1：量化（Quantization）—— 降低精度，换取速度与内存

原理：将 FP16/FP32 权重与激活值转为 INT8、INT4 甚至二值化表示。

主流方案：

• PTQ（Post-Training Quantization）：无需重训练，校准后直接量化（如 GGML、AWQ）
• QAT（Quantization-Aware Training）：训练时模拟量化噪声，精度更高但成本高

效果：

• INT8：模型体积减半，推理速度提升 2–3 倍（TensorRT-LLM）
• INT4（如 GPTQ、AWQ）：7B 模型可塞入 6GB 显存，手机端运行成为可能

关键技巧：对敏感层（如 Attention 输出）保留高精度，其余层低精度（混合精度量化）

---

技术 2：高效推理引擎 —— 专为 LLM 定制的“F1 赛车”

通用框架（PyTorch）未针对 LLM 优化。专用引擎通过 kernel 融合、内存复用等大幅提升效率。

主流引擎对比：

引擎	特点	适用场景
vLLM	PagedAttention + 连续批处理，吞吐领先	高并发在线服务
TensorRT-LLM	NVIDIA 官方，极致优化 Hopper 架构	A/H100 生产部署
SGLang	支持结构化输出、函数调用	Agent 场景
llama.cpp	纯 C++，支持 CPU/GPU，INT4 友好	边缘/本地部署
TGI（Text Generation Inference）	Hugging Face 官方，易集成	快速上线

实测数据（Llama-3-8B on A100）：

• PyTorch 原生：35 tokens/s
• vLLM：120 tokens/s（+240%）
• TensorRT-LLM：160 tokens/s（+350%）

建议：生产环境优先选择 vLLM 或 TRT-LLM。

---

技术 3：PagedAttention —— 解决 KV Cache 内存碎片

问题：KV Cache（存储历史 Key/Value）占显存 60%+，且长度不一导致内存碎片。

vLLM 的创新：借鉴操作系统虚拟内存思想，将 KV Cache 分页存储，非连续物理内存可映射为逻辑连续。

收益：

• 显存利用率提升 2–4 倍
• 支持更高 batch size，吞吐显著提升

示例：在相同硬件下，vLLM 可同时服务 4 倍于 Hugging Face TGI 的并发请求。

---

技术 4：连续批处理（Continuous Batching）

传统批处理：等待一批请求凑齐再推理，导致首 token 延迟高。

连续批处理（又称 Iteration-level Batching）：

• 动态将新请求插入正在生成的 batch
• 每个 iteration 处理所有“活跃”请求

效果：吞吐提升 3–5 倍，P99 延迟降低 50%。

vLLM、TGI、SGLang 均默认启用此技术。

---

技术 5：推测解码（Speculative Decoding）—— 用小模型“猜”大模型

思想：用一个小型草稿模型（Draft Model）快速生成多个候选 token，再由大模型一次性验证。

流程：

1. 草稿模型生成 3–5 个 token
2. 大模型并行验证这些 token 是否正确
3. 正确则接受，错误则回退

加速比：2–3 倍，几乎无精度损失。

代表工作：Medusa、Lookahead Decoding、EAGLE。

适合：草稿模型与目标模型同源（如 Llama-3-8B + Llama-3-1B）

---

技术 6：模型剪枝与稀疏化（Pruning & Sparsity）

观察：大模型存在大量冗余权重（接近零）。

方法：

• 结构化剪枝：移除整行/整列权重（硬件友好）
• 非结构化剪枝：移除任意权重（需稀疏硬件支持）

硬件支持：

• NVIDIA Ampere+ 架构支持 2:4 稀疏（每 4 个数保留 2 个非零）
• H100 Transformer Engine 自动加速稀疏计算

效果：在无损精度下，推理速度提升 1.5–2 倍。

---

技术 7：FlashAttention —— 优化 Attention 计算

问题：标准 Attention 实现频繁读写 HBM，带宽受限。

FlashAttention：

• 将计算分块，利用 SRAM 缓存中间结果
• 减少 HBM 访问次数，IO 复杂度从 $O(N^2)$ 降至 $O(N)$

演进：

• FlashAttention-2：进一步优化并行度
• FlashAttention-3（2025）：支持 FP8，适配 H100

收益：Attention 计算提速 2–3 倍，端到端推理提速 30%+。

几乎所有现代 LLM 推理引擎默认集成。

---

技术 8：多 GPU 推理优化 —— 模型并行策略

当模型 > 单卡显存，需分布式推理：

策略	原理	通信开销
Tensor Parallelism (TP)	按矩阵维度切分（如按 head 切分）	高（每层通信）
Pipeline Parallelism (PP)	按层切分，流水线执行	中（仅层间通信）
Expert Parallelism (EP)	MoE 模型专用，分配不同 expert	低

最佳实践：

• 小 batch：优先 TP（减少 pipeline bubble）
• 大 batch：TP + PP 混合
• 使用 FSDP（Fully Sharded Data Parallel） 在推理中加载分片权重

TensorRT-LLM、DeepSpeed Inference 提供一键并行配置。

---

技术 9：缓存与预填充优化

场景：用户反复提问相似问题（如“你好”“总结一下”）。

优化手段：

• Prompt Caching：缓存相同 prompt 的 KV Cache，下次直接生成
• Prefix Caching：共享对话历史的 KV Cache（适用于多轮对话）

效果：高频 prompt 响应速度提升 10 倍+。

vLLM 和 TGI 已支持 Prefix Caching。

---

技术 10：服务层调度与弹性伸缩

推理优化不仅是模型层面，更是系统工程：

• 动态批处理 + 请求队列：平衡延迟与吞吐
• GPU 虚拟化（MIG）：A100 可切分为 7 个实例，服务不同 SLA 需求
• 冷启动优化：模型预热、权重预加载
• 自动扩缩容：基于 QPS 和 GPU 利用率（KEDA + Kubernetes）

云厂商（AWS SageMaker、阿里云 PAI-EAS）提供托管推理服务，内置上述能力。

---

三、端侧推理：让大模型跑在手机上

除了云端，边缘设备推理同样重要：

关键技术栈：

• 量化：GGUF 格式（llama.cpp）支持 INT4，7B 模型 工具链：llama.cpp、MLC LLM、Core ML（Apple）

---

四、未来趋势：推理即服务（Inference-as-a-Service）

1. MoE 模型推理优化

• 仅激活部分 expert，天然稀疏
• 需动态路由与 expert 调度优化

2. RAG 推理一体化

• 将检索与生成 pipeline 融合，减少 I/O
• 如 NVIDIA NIM 提供 RAG 优化套件

3. AI 编译器崛起

• Apache TVM、Triton 编译器自动优化 kernel
• “一次编写，多后端部署”

4. 绿色推理

• 监控碳排放，调度至清洁能源数据中心
• 低功耗芯片（如 Groq LPU）专攻推理

---

结语：优化永无止境，但价值清晰可见

大模型推理优化是一场软硬协同的精密工程。它没有银弹，而是通过量化、引擎、调度、缓存等数十项技术的叠加效应，将不可能变为可能。

今天，一个经过充分优化的 Llama-3-70B 服务：

• 可在 8×A100 上实现 2000+ tokens/s 吞吐
• 单次推理成本降至 $0.002 以下
• 端到端延迟控制在 500ms 内

这不仅让大模型产品具备商业可行性，更让智能真正普惠。

正如计算机科学家 David Patterson 所言：“The biggest room in the world is the room for improvement.”

而在大模型推理的世界里，每一次毫秒的节省，都是通往规模化落地的关键一步。

---

延伸阅读

• Dao et al. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention
• Kwon et al. (2023). vLLM: Easy, Fast, and Cheap LLM Serving
• NVIDIA (2025). TensorRT-LLM Best Practices Guide
• 阿里云《通义千问推理优化白皮书》（2025）