摘要： 本文详细阐述了从零开始构建一个万卡规模AI GPU集群的分阶段实施方案。文章从百卡验证集群、千卡生产集群到万卡超算集群三个阶段，深入探讨了每个阶段的架构设计、硬件选型、网络拓扑、存储方案、软件栈以及Slurm的核心配置要点，旨在为AIOps工程师和系统架构师提供一份可落地、可演进的实践指南。

关键词： Slurm, GPU集群, AIOps, Lustre, InfiniBand, 高可用, Slurm Federation

---

1. 前言

随着大语言模型（LLM）的飞速发展，对大规模GPU算力的需求呈爆炸式增长。Slurm作为HPC领域应用最广泛的开源作业调度系统，是构建大规模AI集群的核心组件。本文将基于实践经验，分享一套从0到10,000+ GPU的Slurm集群部署架构演进方案。

2. 第一阶段：百卡验证集群 (1-128 GPUs)

此阶段的核心目标是快速验证技术栈、跑通端到端的训练流程。

2.1 架构设计

采用单体式架构，包含管理/登录、计算、存储三大基本单元。

2.2 部署要点

• 硬件：管理节点（高频CPU, 大内存），计算节点（8*A800/H800），存储（NAS），网络（100G RoCEv2或入门级IB）。

• 存储：采用NFS协议，提供/home, /data, /apps等统一挂载点。

• 软件栈：

  • OS: Rocky Linux 9 / Ubuntu 24.04 LTS

  • 自动化: Ansible进行标准化部署（NVIDIA Driver, CUDA, Docker/Apptainer, Slurm, Munge）。

  • 监控: Prometheus + Grafana + DCGM-Exporter。

• Slurm核心配置 (slurm.conf):

  codeIni

  # 核心配置示例
  SlurmctldHost=mgmt01
  ProctrackType=proctrack/cgroup
  GresTypes=gpu
  NodeName=gpu[01-08] CPUs=128 RealMemory=1024000 Gres=gpu:a800:8
  PartitionName=main Nodes=gpu[01-08] Default=YES MaxTime=INFINITE State=UP

---

3. 第二阶段：千卡生产集群 (128-2,048 GPUs)

此阶段的核心是解决性能瓶颈和单点故障，确保业务连续性。

3.1 架构设计

向服务化、高可用架构演进，物理分离管理、登录、计算、存储等功能集群。

3.2 部署要点

• 高可用:

  • Slurm: slurmctld采用主备模式，由Pacemaker+Corosync实现自动故障转移。

  • 数据库: 为slurmdbd配置独立的MariaDB Galera Cluster。

  • 登录节点: 采用LVS/HAProxy做负载均衡。

• 网络：必须升级至InfiniBand (IB) NDR 400G网络，构建两层Spine-Leaf无阻塞胖树拓扑。

• 存储：废弃NFS，部署Lustre或BeeGFS等并行文件系统。MDS（元数据服务器）需高可用，OSS（对象存储服务器）需多台以提供聚合带宽。

• Slurm核心配置 (slurm.conf):

  codeIni

  # 高可用与数据库记账配置
  ControlMachine=slurm-master
  BackupController=slurm-backup
  AccountingStorageType=accounting_storage/slurmdbd
  AccountingStorageHost=db-vip

---

4. 第三阶段：万卡超算集群 (2,048-10,000+ GPUs)

此阶段的核心挑战在于应对极致的扩展性和系统管理的复杂性。

4.1 架构设计

采用Slurm Federation联邦架构，将大集群拆分为多个由子slurmctld管理的子集群（Pod），上层由联邦协调器统一调度。

4.2 部署要点

• 网络：升级至3-Tier Fat-Tree或Dragonfly+拓扑，实现全局低延迟互联。在计算节点上引入DPU卸载网络和存储负载。

• 分层存储 (HSM)：

  1. L1缓存: 基于NVMe-oF的Burst Buffer，用于热数据读写。

  2. L2性能层: Lustre/BeeGFS并行文件系统。

  3. L3容量层: Ceph等对象存储，用于数据归档。

• 运维体系:

  • IaC/OaC: 全面使用Terraform, Ansible, GitOps管理集群。

  • AIOps: 建立智能运维平台，实现异常检测、根因分析和故障自愈。

• Slurm核心配置:

  • 在顶层和所有子集群中配置Federation参数。

  • 启用TopologyPlugin，实现基于网络拓扑的作业调度，优化通信密集型任务。

5. 总结对比

特性/阶段	百卡验证集群	千卡生产集群	万卡超算集群
Slurm架构	单控制器	主备高可用	Slurm联邦 (Federation)
网络技术	以太网 / 入门IB	高性能IB (NDR)	3-Tier IB / DPU
存储方案	NFS	并行文件系统	分层存储 (HSM)
运维管理	半自动化脚本	体系化运维	AIOps / OaC

6. 结语

从0到1万卡GPU集群的演进，是技术架构和运维理念不断升级的过程。通过分阶段、模块化的建设思路，可以有效控制风险，平滑扩展，最终构建出能够支撑未来AI发展的强大算力底座。