Volcano 是一款 基于 Kubernetes（K8s）的开源批处理调度系统，专为 大规模批处理任务（AI 训练、大数据计算、HPC 科学仿真等） 设计，核心目标是弥补 Kubernetes 原生调度器（kube-scheduler）对批处理场景支持不足的短板，提供“高性能、高可靠、高灵活”的批处理任务调度与管理能力。

简单来说：Kubernetes 原生擅长管理“在线服务”（如无状态 API 服务、数据库），而 Volcano 专注解决“批处理任务”的核心痛点（如分布式任务协同、异构资源调度、大规模集群资源管控），是 K8s 生态中批处理场景的“专用调度引擎”。

一、核心定位与发展背景

1. 为什么需要 Volcano？

Kubernetes 原生调度器的设计目标是“通用在线服务”，面对批处理任务时存在以下核心短板：

• 不支持 Gang 调度（分布式任务需所有 Pod 同时就绪才能启动，否则资源浪费）；
• 无 批处理专属队列机制，任务直接争抢资源，高优先级任务无法保障；
• 不适配 异构资源调度（GPU、NPU、RDMA 等 AI/HPC 常用资源的精细化分配）；
• 缺乏 任务依赖、超时重试、失败恢复 等批处理全生命周期管理能力；
• 资源分配策略单一（仅支持简单公平调度），无法满足多团队、多业务的资源隔离与公平共享需求。

Volcano 正是为解决这些问题而生，其核心定位是：

• K8s 批处理场景的“调度中枢”：统一管理各类批处理任务，提供专属调度算法；
• 异构资源的“管理平台”：完美支持 GPU、NPU、RDMA、存储等资源的调度与分配；
• 多团队共享集群的“资源管家”：通过队列、配额、权重实现资源隔离与公平共享；
• 批处理任务的“全生命周期管理器”：覆盖任务提交、调度、执行、监控、容错的全流程。

2. 发展背景

• 起源：2019 年由华为云牵头开源，最初是 Kubernetes SIG-Scheduling 的子项目；
• 生态地位：2021 年成为 CNCF（Cloud Native Computing Foundation）沙箱项目，2023 年晋升为孵化项目，是 K8s 生态中最成熟的批处理调度方案；
• 核心用户：华为、腾讯、阿里、字节跳动、百度等企业，广泛应用于 AI 训练、大数据计算、HPC 等场景。

二、核心架构：模块化设计与组件分工

Volcano 采用 模块化、松耦合架构，完全基于 K8s CRD（自定义资源）和扩展机制实现，无需改造 K8s 核心组件，可无缝集成现有 K8s 集群。

1. 核心组件解析

组件名称	核心职责	关键能力
volcano-scheduler	批处理任务调度核心（替代/增强 kube-scheduler）	支持 Gang、DRF、Priority 等批处理调度算法；异构资源调度；资源抢占；队列调度
volcano-controller-manager	批处理资源（CRD）的生命周期管理	管理 Queue、Job、Task、PodGroup 等 CRD 的创建、更新、删除；任务容错（重试、恢复）
volcano-admission-webhook	任务提交校验与预处理	校验任务资源请求合法性、队列权限、调度策略配置；自动注入 PodGroup 关联信息
volcano-cli（vcctl）	命令行工具	支持队列管理、任务提交/终止/查询、调度策略配置等操作（类似 kubectl）
volcano-dashboard	可视化管理平台	实时监控集群资源、队列状态、任务进度；支持可视化操作任务与队列

2. 核心工作流程

Volcano 与 K8s 集群、批处理任务的协同流程如下：

1. 资源准备：管理员通过 CRD 创建 Volcano Queue（队列），定义资源配额、调度策略；
2. 任务提交：用户通过 YAML 或 CLI 提交批处理任务（如 Volcano Job、MPI Job），指定关联的 Queue；
3. 任务校验：Admission Webhook 校验任务合法性（资源请求、队列权限），通过后注入 PodGroup 信息；
4. 调度决策：volcano-scheduler 扫描 Queue 中的 Pending 任务，结合调度算法（如 Gang）、资源配额、队列权重，为任务分配集群资源；
5. 任务执行：volcano-controller-manager 监听调度结果，创建并启动任务的 Pod 实例，监控 Pod 运行状态；
6. 容错与终止：任务失败时按重试策略自动重试，超时则终止；任务完成后释放资源，更新任务状态。

三、核心功能：批处理场景的关键能力

Volcano 的核心价值在于其对批处理场景的深度优化，关键功能覆盖“调度、资源、任务、生态”四大维度：

1. 批处理专属调度算法

Volcano 内置多种批处理优化调度算法，解决 K8s 原生调度的核心短板：

• Gang 调度（集群调度）：批处理任务（如 AI 分布式训练、Spark 集群）需多个 Pod 同时就绪才能启动，Gang 调度确保“全启动或全不启动”，避免部分 Pod 启动导致的资源浪费。支持配置 minAvailable（最小就绪比例，如 100% 表示所有 Pod 就绪才启动）；
• DRF（Dominant Resource Fairness）调度：当集群包含多种资源（CPU+GPU+内存）时，DRF 按“主导资源”（如 AI 任务的主导资源是 GPU）公平分配资源，避免单一资源被独占，保障多团队资源公平共享；
• Priority 优先级调度：支持为队列或任务配置优先级，高优先级任务/队列优先获得资源，适配“紧急任务优先执行”场景（如线上模型迭代训练）；
• 资源抢占调度：高优先级任务可抢占低优先级任务的资源（需开启抢占开关），抢占时会优雅终止低优先级 Pod，确保高优先级任务快速启动；
• Backfill 回填调度：当高优先级任务因资源不足等待时，调度器会在不影响高优先级任务的前提下，调度低优先级任务利用空闲资源，提升集群资源利用率。

2. 精细化资源管理与隔离

• 多维度资源隔离：
  • 队列隔离（Queue）：通过 Queue 划分不同团队/业务的资源边界，支持命名空间隔离、权限控制；
  • 资源配额：为每个 Queue 配置 minResources（保底资源）和 maxResources（上限资源），确保每个队列有基础资源保障，同时限制单个队列独占集群；
  • 资源权重：通过 weight 字段配置队列权重（0-100），空闲资源按权重比例分配，平衡多队列公平性；
• 异构资源全面支持：
  • 计算资源：CPU、GPU（NVIDIA/AMD）、NPU（华为昇腾）、TPU（谷歌）；
  • 网络资源：RDMA、SR-IOV 高性能网络；
  • 存储资源：PVC、CSI 存储卷（如智算 CPFS、极速型 NAS）；
  • 资源亲和性/反亲和性：支持按节点标签、Pod 标签配置资源调度规则（如“AI 训练任务仅调度到 GPU 节点”）。

3. 批处理任务全生命周期管理

• 多类型任务支持：
  • 原生任务：Volcano Job（基础批处理任务）、MPI Job（分布式训练任务）、TensorFlow Job/PyTorch Job（AI 框架专属任务）；
  • 生态兼容：支持 Spark、Flink、Hadoop、Horovod 等主流批处理框架，可直接对接现有批处理任务；
• 任务容错与弹性：
  • 超时控制：配置 activeDeadlineSeconds 限制任务最长运行时间，避免资源泄漏；
  • 重试策略：配置 backoffLimit（重试次数）和 backoffDuration（重试间隔），任务失败后自动重试；
  • 失败恢复：支持任务断点续跑（需业务层配合），Pod 异常终止后可重新调度到其他节点继续执行；
  • 弹性伸缩：关联 K8s HPA 或 Volcano 原生弹性策略，根据任务积压情况动态扩容集群节点，或调整队列资源配额；
• 任务依赖管理：支持配置任务间的依赖关系（如 Task A 执行完成后再启动 Task B），适配有流程依赖的批处理场景（如数据预处理→模型训练→结果评估）。

4. 监控与可观测性

• 指标采集：集成 Prometheus，采集集群资源使用率、队列状态、任务进度、调度延迟等核心指标；
• 可视化监控：通过 Volcano Dashboard 实时查看任务执行状态、资源使用趋势、队列积压情况；
• 告警配置：支持对接 Grafana、AlertManager，配置资源不足、任务超时、失败等告警规则；
• 日志审计：记录任务调度日志、队列操作日志，支持问题追溯与审计。

5. 生态集成与扩展性

• K8s 生态兼容：完全基于 K8s CRD 实现，支持 K8s 1.18+ 版本，可与 Calico、Flannel（网络）、Prometheus、Grafana（监控）、ArgoCD（CI/CD）等生态工具无缝集成；
• 自定义扩展：支持自定义调度算法（通过调度插件）、自定义任务类型（通过 CRD 扩展）、自定义资源类型（通过资源插件）；
• 上层平台对接：可作为 AI 平台（如华为云 ModelArts、阿里云 PAI）、大数据平台（如 CDH、HDP）的底层调度引擎，提供批处理任务调度能力。

四、关键 CRD 资源：Volcano 的核心操作对象

Volcano 基于 K8s CRD 定义了一批批处理专属资源，用户通过操作这些资源实现任务与队列管理，核心 CRD 如下：

1. Queue（队列）

批处理任务的“资源容器”，用于隔离和管控资源，之前已详细介绍，核心配置包括资源配额、调度策略、权重等。

2. Job（批处理任务）

Volcano 原生批处理任务资源，替代 K8s 原生 Job，支持更丰富的批处理特性。示例 YAML：

apiVersion: batch.volcano.sh/v1beta1
kind: Job
metadata:
  name: ai-training-job
  namespace: ml-team
spec:
  queue: ai-training-queue  # 关联的 Volcano Queue
  minAvailable: 100%  # Gang 调度：所有 Pod 就绪才启动
  schedulerName: volcano  # 指定使用 Volcano 调度器
  tasks:
  - name: trainer
    replicas: 8  # 任务包含 8 个 Pod（如 8 卡 GPU 训练）
    template:
      spec:
        containers:
        - name: tensorflow
          image: tensorflow/tensorflow:latest-gpu
          command: ["python", "train.py"]
          resources:
            limits:
              nvidia.com/gpu: 1  # 每个 Pod 申请 1 块 GPU
  retryPolicy:
    limit: 3  # 失败重试 3 次
    backoff:
      duration: "5m"  # 重试间隔 5 分钟

3. Task（任务单元）

Job 的最小执行单元，一个 Job 可包含多个 Task（如“数据预处理 Task + 模型训练 Task”），支持配置不同 Task 的资源需求和依赖关系。

4. PodGroup（Pod 组）

用于关联同一批处理任务的所有 Pod，是 Gang 调度的核心载体。Volcano Job 会自动创建 PodGroup，用户无需手动定义，核心配置包括 minAvailable（最小就绪比例）、queue（关联队列）。

五、典型应用场景

Volcano 专为大规模批处理场景设计，典型应用包括：

1. AI 大模型训练/推理

• 场景：分布式 GPU 训练（如 TensorFlow/PyTorch 多卡训练）、大模型微调、大规模推理集群；
• 核心价值：Gang 调度确保训练任务全 Pod 就绪，异构资源调度优化 GPU 利用率，队列隔离支持多团队共享 GPU 集群，资源抢占保障紧急训练任务优先执行。

2. 大数据离线计算

• 场景：Spark/Flink 批处理任务（如每日数据清洗、离线报表生成）、Hadoop MapReduce 任务；
• 核心价值：DRF 调度公平分配 CPU/内存资源，Backfill 回填提升集群利用率，任务重试与超时控制保障离线计算任务稳定执行。

3. HPC 科学计算

• 场景：气象模拟、基因测序、航空发动机仿真、芯片 EDA 设计；
• 核心价值：支持 MPI/OpenMP 等 HPC 框架，RDMA 高性能网络调度，Gang 调度保障集群任务协同执行，多队列隔离不同科研项目的资源。

4. 混合部署场景（在线服务 + 批处理）

• 场景：K8s 集群同时运行在线服务（如 API 服务）和批处理任务（如夜间数据备份）；
• 核心价值：通过优先级调度和资源隔离，确保在线服务的稳定性，同时利用批处理任务消化空闲资源，提升集群整体资源利用率。

六、优劣势分析

核心优势

1. 批处理场景深度优化：原生支持 Gang、DRF 等批处理核心调度算法，解决 K8s 原生调度的核心短板；
2. 异构资源全面覆盖：完美支持 GPU、NPU、RDMA 等 AI/HPC 常用资源，适配高性能计算场景；
3. 企业级特性完备：多队列隔离、资源配额、权限控制、监控告警等功能，满足多团队共享集群的企业级需求；
4. K8s 生态无缝兼容：基于 K8s CRD 实现，无需改造 K8s 核心组件，可快速集成现有 K8s 集群；
5. 扩展性强：支持自定义调度算法、任务类型、资源类型，可对接上层 AI/大数据平台。

潜在劣势

1. 学习成本较高：相比 K8s 原生机制，Volcano 的调度策略、CRD 配置更复杂，需熟悉 Volcano 生态和批处理场景；
2. 依赖 Volcano 调度器：核心功能（如 Gang 调度、资源抢占）依赖 Volcano 调度器，无法单独使用 CRD 实现；
3. 轻量化场景性价比低：对于小规模、简单批处理任务（如单 Pod 批处理），K8s 原生 Job 已足够，无需额外部署 Volcano；
4. 运维复杂度增加：需维护 Volcano 调度器、控制器、Webhook 等组件，增加集群运维成本。

七、部署与使用流程（极简入门）

1. 部署方式

Volcano 支持多种部署方式，最常用的是 Helm 部署：

# 添加 Helm 仓库
helm repo add volcano-sh https://volcano-sh.github.io/helm-charts
# 更新仓库
helm repo update
# 部署 Volcano 到 kube-system 命名空间
helm install volcano volcano-sh/volcano --namespace kube-system

验证部署：

kubectl get pods -n kube-system -l app.kubernetes.io/name=volcano

2. 基本使用流程

1. 创建 Queue：定义资源配额和调度策略（参考之前的 Queue YAML 示例）；
2. 提交 Job：创建 Volcano Job YAML，关联 Queue 和调度策略；
3. 查看任务状态：

   # 查看 Queue 状态
   kubectl get volcanoqueue -n ml-team
   # 查看 Job 状态
   kubectl get volcanojob -n ml-team
   # 查看 PodGroup 状态
   kubectl get podgroup -n ml-team
   

4. 终止任务：

   kubectl delete volcanojob ai-training-job -n ml-team
   

总结

Volcano 是 K8s 生态中最成熟、功能最完备的批处理调度系统，其核心价值在于 “让批处理任务在 K8s 集群中高效、有序、稳定执行”。它通过批处理专属调度算法、精细化资源管理、全生命周期任务管控，完美解决了 AI 训练、大数据计算、HPC 等场景的核心痛点。