模型部署需求：

深度学习和大模型日新月异，部署环节却日益成为瓶颈。Docker 以轻量级容器化之姿，把模型、运行时与依赖一并封装，随取随用、随处可跑，让复杂的上线流程化繁为简。下文将以实战视角，带你一步步把模型装进 Docker，并给出可直接落地的示例。

1. 为什么使用 Docker 部署大模型？

在部署大模型时，我们通常面临以下挑战：

• 依赖链深：CUDA、PyTorch、Transformers、驱动版本，一环错步步错。
• 水土不服：本地跑得好好的，一到生产就“缺胳膊少腿”。
• 扩不动：流量一高，传统脚本手忙脚乱。

Docker 通过容器化技术解决了这些问题：

• 一键打包：把模型、库、驱动统统锁进镜像，谁拉谁用，零冲突。
• 任意迁移：只要宿主机能跑 Docker，笔记本、机房、云端统统即插即跑。
• 易于扩展：结合 Kubernetes 或 Docker Swarm，可以轻松实现负载均衡和扩展。

2. 部署流程概述

Docker 上线大模型的“五步曲”

1. 打包资产
   把训练好的权重、推理脚本和 API 服务端代码整理成可发布的目录。（这里用Flask框架，够简单）
2. 镜像配方
   用 Dockerfile 精确描述：基础镜像、依赖库、驱动、端口、启动命令——一次写成，处处可复现。
3. 本地试跑
   docker build && docker run，先在笔记本或单机上冒烟测试，确认镜像健康、接口通畅。
4. 压测与调优
   用负载工具打流量，根据 GPU 利用率、延迟、内存占用等关键指标做针对性优化。
5. 推向生产
   把镜像推送到云镜像仓库，再一键部署到云主机或 Kubernetes 集群，实现弹性扩缩、滚动升级。

3. 具体步骤

步骤 1：准备模型和代码

1.1 保存模型
把训练完毕的权重固化到磁盘：以 PyTorch 为例，只需调用 torch.save() 即可把模型一口气写进 .pt 文件。

import torch
torch.save(model.state_dict(), "model.pth")

1.2 编写 API 服务
用 Flask 或 FastAPI 快速搭一条推理接口——下面是一段 FastAPI 的极简示范代码，拿来即可跑：

from typing import List

import torch
import uvicorn
from fastapi import FastAPI, HTTPException
from pydantic import BaseModel

# -------------------- 数据结构 --------------------
class PredictRequest(BaseModel):
    data: List[List[float]]   # 支持批量输入，例如 [[1.0, 2.0], [3.0, 4.0]]

class PredictResponse(BaseModel):
    prediction: List[List[float]]

# -------------------- 初始化 --------------------
app = FastAPI()

try:
    model = torch.load("model.pth", map_location="cpu")  # 按需把 cpu 换成 cuda
    model.eval()
except Exception as e:
    raise RuntimeError(f"模型加载失败：{e}")

# -------------------- 路由 --------------------
@app.post("/predict", response_model=PredictResponse)
def predict(req: PredictRequest):
    try:
        x = torch.tensor(req.data, dtype=torch.float32)
        with torch.no_grad():
            y = model(x)
        return PredictResponse(prediction=y.tolist())
    except Exception as e:
        raise HTTPException(status_code=500, detail=str(e))

# -------------------- 入口 --------------------
if __name__ == "__main__":
    uvicorn.run("main:app", host="0.0.0.0", port=5200, reload=False)

1.3 创建项目目录
将模型和代码组织到一个目录中：

my_model_deployment/
├── app/
│   ├── main.py              # API 服务代码
│   ├── requirements.txt     # Python 依赖
│   └── model.pth            # 模型文件
├── Dockerfile               # Docker 构建文件
└── README.md                # 项目说明

步骤 2： 编写 Dockerfile
在项目根目录下创建 Dockerfile，定义容器环境：

Dockerfile

# 使用官方 Python 镜像
FROM python:3.9-slim
 
# 设置工作目录
WORKDIR /app
 
# 复制项目文件
COPY ./app /app
 
# 安装依赖
RUN pip install --no-cache-dir -r requirements.txt
 
# 暴露端口
EXPOSE 5200
 
# 启动服务
CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8000"]

在 app/requirements.txt 中列出 Python 依赖：

fastapi==0.95.2
uvicorn==0.22.0
torch==2.1.0

步骤 3： 构建 Docker 镜像
在项目根目录下运行以下命令，构建 Docker 镜像：

docker build -t my_model_api .

• -t my_model_api：为镜像指定一个名称。

• . ：表示使用当前目录下的 Dockerfile。

步骤 4： 运行 Docker 容器
构建完成后，运行容器：

docker run -d -p 5200:5200--name my_model_container my_model_api

• -d：以守护进程模式运行容器。

• -p 5200:5200：将容器的 8000 端口映射到主机的 8000 端口。

• –name my_model_container：为容器指定一个名称。

步骤 5：测试 API
使用 curl 或 Postman 测试 API：

curl -X POST "http://localhost:5200/predict" -H "Content-Type: application/json" -d '{"data": [1.0, 2.0, 3.0]}'

一切顺利的话，API 会立刻把模型的预测结果返回给你。

步骤 6： 部署到生产环境

6.1 推送镜像到 Docker Hub

1.登录 Docker Hub：

docker login

2.为镜像打标签：

docker tag my_model_api your_dockerhub_username/my_model_api:latest

3.推送镜像：

docker push your_dockerhub_username/my_model_api:latest

6.2 在服务器上运行容器

登录服务器，安装 Docker。

拉取镜像：

docker pull your_dockerhub_username/my_model_api:latest

运行容器：

docker run -d -p 5200:5200--name my_model_container your_dockerhub_username/my_model_api:latest

4.高级优化

1. GPU 支持：如果需要 GPU 加速，可以使用 nvidia-docker 并安装 CUDA 支持的 PyTorch 或
   TensorFlow 镜像。

2. 负载均衡：使用 Kubernetes 或 Docker Swarm 管理多个容器实例。

3. 日志和监控：使用 docker logs 查看容器日志，或集成 Prometheus 和 Grafana 进行监控。

5. 总结

总的来说，逻辑是这么个逻辑，还是挺简单的。借助 Docker 部署大模型，环境配置不再繁琐，流程大幅简化，模型的可移植性与扩展性也随之显著提升。

参考：

• 如何使用 Docker 部署大模型：从零到生产的完整指南