0.引言

GPUStack 是一个开源的 GPU 集群管理器，用于统一纳管多平台、多厂商的算力资源并提供大模型推理服务。
它支持在Linux、Windows、macOS上管理 NVIDIA、AMD、Apple Silicon、昇腾、海光、摩尔线程等异构 GPU，覆盖 LLM、VLM、Embedding、Reranker、扩散图像、语音 STT/TTS​ 等多类型模型
提供OpenAI 兼容 API​ 与可视化控制台，便于快速搭建企业级私有模型服务。项目采用Apache License 2.0，代码托管于 GitHub

1.安装环境检测

1.1安装要求

gpustack 已经过测试并验证可在以下操作系统上运行：

操作系统	版本
Windows	10, 11
macOS	>= 14
Ubuntu	>= 20.04
Debian	>= 11
RHEL	>= 8
Rocky	>= 8
Fedora	>= 36
OpenSUSE	>= 15.3 (leap)
OpenEuler	>= 22.03

具体的安装要求请到官网去查看

https://www.aidoczh.com/gpustack/installation/installation-requirements/index.html

1.2检测系统是否符合要求

lsb_release -a

出现如下截图成功

————————————————————
我的系统是Ubuntu 20.04.5 LTS，符合安装要求，接下来以此为样例给出部署过程。
—————————————————————

2.部署过程

2.1安装docker

ubuntu系统安装docker有两种方式：（1）在线安装
不会的可以参考教程Ubantu20.04在线安装dockerV27.3.1
（2）离线安装
不会的可以参考教程Linux基于Ubantu20.04系统离线安装docker版本27.2.0

——————————————————————
不管哪种安装方式，都需要注意教程里面的安装步骤只是参考方法，具体下载哪个版本因情况而定
我这里的docker版本是V28.1.1

这里补充几个近期docker镜像源，【2025-12-10可用docker镜像源】

{
"registry-mirrors": [
	"https://docker.1panel.live",
	"https://docker.1ms.run",
	"https://dytt.online",
	"https://docker-0.unsee.tech",
	"https://lispy.org",
	"https://docker.xiaogenban1993.com",
	"https://666860.xyz",
	"https://hub.rat.dev",
	"https://docker.m.daocloud.io",
	"https://demo.52013120.xyz",
	"https://proxy.vvvv.ee",
	"https://registry.cyou"
]
}

重启docker

——————————————————————

2.2安装GPUStack

2.2.1检查NVIDIA驱动是否存在

nvidia-smi

存在截图如下

2.2.2安装NVIDIA Container Toolkit

——————————————————————

什么是NVIDIA Container Toolkit？
NVIDIA Container Toolkit 是一个由 NVIDIA 提供的开源工具集，用于在docker容器中无缝运行支持 GPU 的应用程序。它使得开发者可以在容器化环境中直接访问 NVIDIA GPU 硬件资源（如 CUDA、cuDNN、Tensor Cores 等），从而加速深度学习、科学计算、AI 推理等高性能计算任务。

————————————————————————

官网安装参考

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

（1）准备系统环境

sudo apt-get update && sudo apt-get install -y --no-install-recommends \
   curl \
   gnupg2

成功截图

（2）配置生产仓库

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

成功截图

（3）从仓库更新软件包列表

sudo apt-get update

成功运行截图

（4）安装NVIDIA Container Toolkit包

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.18.1-1
  sudo apt-get install -y \
      nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
      nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
      libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
      libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

成功截图

2.2.3运行以下命令，使用 Docker 安装并启动GPUStack server

sudo docker run -d --name gpustack \
    --restart unless-stopped \
    -p 80:80 \
    --volume gpustack-data:/var/lib/gpustack \
    gpustack/gpustack

正在拉取的截图

完全下载完成如下图所示

2.2.4检查 GPUStack 启动日志

sudo docker logs -f gpustack

正常如下图所示

2.2.5运行以下命令获取默认管理员密码

sudo docker exec gpustack cat /var/lib/gpustack/initial_admin_password

成功截图，红色部分为获取的密码

2.2.6登录GPUStack
打开浏览器，访问

http://你的主机IP

看到如下界面即为成功

进入 GPUStack UI。使用默认用户名 admin 和上面获取的密码登录。

2.2.7修改密码

看到如下图所示界面即为成功！