引言

在企业级 AI 推理场景中，NVIDIA L20 凭借 48GB 的超大显存和极高的性价比，正迅速成为 Ada Lovelace 架构下的“真香”卡。然而，双卡环境下如何分配负载？7B 模型和 32B 模型的部署逻辑有何本质区别？

本文将深度解析 Qwen-7B（单卡吞吐之王）与 Qwen-32B（双卡联动标杆）在 vLLM 框架下的最优部署方案，并奉上避坑指南。

---

一、 环境准备：工欲善其事，必先利其器

L20 属于较新的 sm_89 架构，环境配置必须遵循“追新不追旧”的原则。

1. 核心版本要求

• 驱动 (Driver)：建议 >= 535.104.05 或 550+。

• CUDA Toolkit：推荐 12.1 或 12.4（vLLM 对此版本支持最稳）。

• Python：推荐 3.10 或 3.12。

2. 关键组件安装

使用以下命令确保框架与硬件完美契合：

# 安装适配 CUDA 12.1 的 PyTorch
pip install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu121

# 安装最新版 vLLM (推荐 0.6.0+)
pip install vllm>=0.6.0

# 验证 Flash-Attention 2（L20 长文本推理的核心加速器）
python -c "import flash_attn; print(flash_attn.__version__)"

---

二、 Qwen-7B vs Qwen-32B：部署策略深度对比

针对 L20 的显存特性，两者的策略截然不同：

维度	Qwen-7B (均衡全能型)	Qwen-32B (深度逻辑型)
部署模式	双卡独立 (Data Parallel)	双卡并行 (Tensor Parallel = 2)
显存分布	每张卡约占用 15-20GB	双卡各占约 35-42GB (FP8)
并发能力	极高 (两张卡互不干扰)	中等 (两张卡协同工作)
精度建议	BF16 (保持原生精度)	FP8 (强烈建议)
适用场景	高频 API、RAG 基础检索、常规对话	复杂代码、长文本分析、逻辑推理

---

三、 实战部署方案

1. Qwen-7B：追求极致吞吐

核心思路：不要跨卡通信！在两张卡上分别起一个服务，通过负载均衡分发请求。这样可以避免 PCIe 通信延迟，最大化 QPS。

启动脚本（双实例）：

# 实例 1 (GPU 0)
CUDA_VISIBLE_DEVICES=0 vllm serve Qwen/Qwen2.5-7B-Instruct --port 8000 --max-model-len 32768

# 实例 2 (GPU 1)
CUDA_VISIBLE_DEVICES=1 vllm serve Qwen/Qwen2.5-7B-Instruct --port 8001 --max-model-len 32768

---

2. Qwen-32B：跨卡联动的艺术

核心思路：32B 模型在 BF16 下体积约为 64GB，单卡装不下。必须使用 tensor-parallel-size 2 并配合 FP8 量化。

启动脚本（双卡协同）：

# 解决非 NVLink 环境下的双卡通信阻塞（L20 必备）
export NCCL_P2P_DISABLE=1
export NCCL_IB_DISABLE=1

python -m vllm.entrypoints.openai.api_server \
    --model neuralmagic/Qwen2.5-32B-Instruct-FP8 \
    --tensor-parallel-size 2 \
    --max-model-len 32768 \
    --gpu-memory-utilization 0.95 \
    --enforce-eager 

提示：开启 --enforce-eager 模式可以有效减少 L20 在推理时的显存碎片。

---

四、 避坑指南：L20 的三个“隐藏细节”

1. 禁用 P2P 通信：

   由于 L20 多数部署在非 NVLink 服务器上，NCCL 在尝试 P2P 通信时常会“卡死”。设置 export NCCL_P2P_DISABLE=1 是最稳妥的解决办法。

2. 显存水位控制 (gpu_memory_utilization)：

   • 7B 模型：L20 显存充裕，建议设为 0.7，留出空间给其他监控或系统进程。

   • 32B 模型：显存吃紧，建议设为 0.95，挤出每一兆显存给 KV Cache 以支持更高并发。

3. CUDA Graph 捕获失败：

   如果启动时卡在 Capturing CUDA graph，通常是由于环境变量未配置或显存不足。尝试调低 max-model-len 或开启 enforce-eager。

---

五、 总结清单

在正式上线前，请对照此清单自检：

• [ ] GPU 识别：nvidia-smi 正常识别两张 L20（sm_89）。

• [ ] 驱动配套：驱动 >= 535，CUDA >= 12.1。

• [ ] 通信配置：已设置 NCCL_P2P_DISABLE=1。

• [ ] 量化选择：32B 模型是否已选择 FP8 版本？

• [ ] 端口分配：若跑 7B 双实例，确保端口（8000/8001）不冲突。

---

博主结语：

L20 是一张潜力巨大的卡，但它的性能上限取决于你的部署策略。对于 7B，我们求“快”；对于 32B，我们求“稳”。