第7章：推理与高性能部署

一、推理服务架构

1.1 Serving形态对比

1.2 通信协议选择

1.3 典型部署架构

二、高性能推理引擎

2.1 主流引擎对比

引擎	特性	性能	易用性	适用场景
vLLM	PagedAttention、Continuous Batching	★★★★★	★★★★	生产环境
TGI	HuggingFace官方、Token流式	★★★★	★★★★★	快速部署
TensorRT-LLM	NVIDIA优化、极致性能	★★★★★	★★★	专业优化
llama.cpp	CPU推理、量化	★★★	★★★★★	边缘设备
SGLang	结构化生成	★★★★	★★★★	复杂约束

2.2 vLLM核心技术

PagedAttention

Continuous Batching

2.3 TensorRT-LLM优化

三、性能优化策略

3.1 KV Cache优化

Prefix Caching

3.2 批处理策略

3.3 请求调度

3.4 模型并行

Tensor Parallelism（张量并行）

Pipeline Parallelism（流水线并行）

四、资源使用优化

4.1 GPU资源画像

4.2 显存优化

显存计算公式

总显存需求 = 模型参数 + KV Cache + 激活 + 操作系统

# 示例: LLaMA-13B FP16推理
模型参数 = 13B × 2 bytes = 26GB
KV Cache (seq=2048, batch=32) = 2 × 40层 × 32batch × 5120hidden × 2048seq × 2bytes / 1024³ ≈ 10GB
激活值 ≈ 2GB
总计 ≈ 40GB (需要48GB显存GPU)

4.3 网络优化

五、可靠性保障

5.1 超时与重试

graph TB
    A[请求] --> B[设置超时<br/>30秒]
    
    B --> C{处理结果}
    
    C -->|成功| D[返回结果]
    C -->|超时| E[重试策略]
    C -->|错误| E
    
    E --> F[指数退避]
    F --> F1[第1次: 1s后]
    F --> F2[第2次: 2s后]
    F --> F3[第3次: 4s后]
    
    F --> G{重试次数}
    G -->|<3| B
    G -->|≥3| H[返回失败]
    
    H --> I[降级处理]
    I --> I1[返回缓存]
    I --> I2[简化响应]
    I --> I3[人工介入]

5.2 熔断与限流

5.3 灰度发布

graph TB
    A[新模型v2.0] --> B[金丝雀发布]
    
    B --> C[5%流量]
    C --> D[监控指标]
    
    D --> E{健康检查}
    E -->|正常| F[10%流量]
    E -->|异常| G[自动回滚]
    
    F --> H{持续监控}
    H -->|正常| I[25%→50%→100%]
    H -->|异常| G
    
    I --> J[全量发布]
    
    G --> K[回退v1.0]
    K --> L[问题分析]

5.4 健康检查

六、弹性伸缩

6.1 HPA配置

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: vllm-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: vllm-deployment
  minReplicas: 2
  maxReplicas: 10
  metrics:
  - type: Resource
    resource:
      name: nvidia.com/gpu
      target:
        type: Utilization
        averageUtilization: 70
  - type: Pods
    pods:
      metric:
        name: request_queue_length
      target:
        type: AverageValue
        averageValue: "50"
  behavior:
    scaleUp:
      stabilizationWindowSeconds: 60
      policies:
      - type: Percent
        value: 50
        periodSeconds: 60
    scaleDown:
      stabilizationWindowSeconds: 300
      policies:
      - type: Pods
        value: 1
        periodSeconds: 60

6.2 伸缩策略

七、流式传输

7.1 流式推理流程

7.2 SSE vs WebSocket

八、部署最佳实践

8.1 资源配置建议

模型规模	GPU配置	显存需求	批大小	并发数
7B	1×A10 (24GB)	~16GB	32-64	10-20
13B	1×A100 (40GB)	~30GB	16-32	5-10
34B	2×A100 (80GB)	~70GB	8-16	2-5
70B	4×A100 (80GB)	~140GB	4-8	1-2

8.2 性能调优检查清单

graph TB
    A[性能调优] --> B[模型层面]
    A --> C[系统层面]
    A --> D[代码层面]
    
    B --> B1[✓ 量化FP16/INT8]
    B --> B2[✓ KV Cache优化]
    B --> B3[✓ Speculative Decoding]
    
    C --> C1[✓ GPU亲和性绑定]
    C --> C2[✓ NUMA优化]
    C --> C3[✓ 网络带宽]
    
    D --> D1[✓ 批处理最大化]
    D --> D2[✓ 异步IO]
    D --> D3[✓ 连接池]

8.3 监控指标

九、故障排查

9.1 常见问题

9.2 性能剖析

# NVIDIA Nsight Systems
nsys profile -o report python inference.py

# 查看GPU利用率时间线
# 定位空闲时段、通信瓶颈

# CUDA Profiler
nvprof --print-gpu-trace python inference.py

# PyTorch Profiler
import torch.profiler as profiler
with profiler.profile(
    activities=[profiler.ProfilerActivity.CPU, profiler.ProfilerActivity.CUDA]
) as prof:
    model.generate(...)
prof.export_chrome_trace("trace.json")

十、总结：推理优化关键点

关键要点：

1. 选对引擎：vLLM生产环境、TGI快速部署
2. 批处理优化：Continuous Batching最大化吞吐
3. 显存管理：PagedAttention + 量化
4. 可靠性：健康检查、熔断、灰度发布
5. 监控完善：TTFT、吞吐、GPU利用率

本章提供了LLM推理服务从部署到优化的完整指南。