2026 年初，我们在部署边缘 AI 推理服务时，遇到了性能瓶颈：模型推理延迟始终高于预期。在多机多卡调度、I/O 优化和批处理调优之外，真正突破性能瓶颈的核心在于合理利用 NVIDIA A100 的硬件特性、优化驱动与中间件，并针对性地重写推理逻辑。那段经历让我深刻体会到，高性能 AI 推理既依赖于硬件，更依赖于软件栈的精细调优。

本文A5数据基于 CentOS 8 操作系统，结合 NVIDIA A100 GPU、CUDA、cuDNN、TensorRT、ONNX Runtime 等主流堆栈，逐步介绍如何搭建推理环境、优化定制深度神经网络的推理性能，并提供详实的参数、代码示例和评测数据，帮助读者构建高效、可复现的推理方案。

1 硬件与系统配置

我们选择的GPU服务器www.a5idc.com配置如下：

项目 规格
操作系统 CentOS 8.5 (x86_64)
CPU 2× Intel Xeon Silver 4214 (12 核/CPU, 2.2 GHz)
内存 256 GB DDR4 2933 MHz
GPU 4× NVIDIA A100 40GB PCIe
存储 2× 2TB NVMe SSD
网络 25 GbE

注意事项
CentOS 8 在 2021 年底进入生命周期结束阶段，官方源已关闭。请确保启用了 Vault 源或使用第三方镜像（例如 EPEL、vault.centos.org）以获取软件包支持。

2 驱动与软件栈安装

2.1 安装 NVIDIA 驱动与 CUDA

NVIDIA A100 需要 >= CUDA 11.0，我们选用稳定版本 CUDA 11.8：

# 禁用 Nouveau
cat <<EOF > /etc/modprobe.d/disable-nouveau.conf
blacklist nouveau
options nouveau modeset=0
EOF
dracut --force

# 重启系统
reboot

# 下载并安装 NVIDIA 驱动 + CUDA 11.8（runfile）
sh cuda_11.8.0_linux.run --silent \
    --driver --toolkit

# 配置环境变量
cat <<EOF >> /etc/profile.d/cuda.sh
export PATH=/usr/local/cuda-11.8/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH
EOF
source /etc/profile.d/cuda.sh

# 验证安装
nvidia-smi

输出应包含 A100 TENSOR CORE GPU 的详细信息（驱动版本、CUDA 版本等）。

2.2 安装 cuDNN

从 NVIDIA 官网下载 cuDNN 8.6 for CUDA 11.x RPM 包，然后：

rpm -ivh libcudnn8-*.rpm
rpm -ivh libcudnn8-devel-*.rpm

验证：

grep "CUDNN_MAJOR" /usr/include/cudnn_version.h

2.3 安装 Python 与依赖库

dnf install -y python3 python3-pip python3-devel
pip3 install --upgrade pip

框架：

pip3 install numpy onnx onnxruntime-gpu==1.15.1 \
    torch==2.0.1 torchvision==0.15.2 \
    tensorrt

说明：TensorRT 安装方式因版本不同可能需要从 NVIDIA 官网下载对应的 tar 包并手动安装。

3 模型准备与格式转换

我们的推理目标是一个自定义的卷积神经网络（CNN），在 PyTorch 中训练完成并导出为 ONNX：

import torch

model = MyCustomCNN().eval().to("cuda")
dummy_input = torch.randn(1, 3, 224, 224).to("cuda")

torch.onnx.export(
    model,
    dummy_input,
    "custom_model.onnx",
    opset_version=13,
    input_names=["input"],
    output_names=["output"],
    dynamic_axes={"input": {0: "batch"}, "output": {0: "batch"}},
)

验证 ONNX 模型：

python3 - <<EOF
import onnx

onnx_model = onnx.load("custom_model.onnx")
onnx.checker.check_model(onnx_model)
print("ONNX 模型验证通过")
EOF

4 TensorRT 推理引擎构建与代码示例

为了发挥 A100 的最高性能，我们使用 TensorRT 将 ONNX 模型转换为高效推理引擎。

4.1 TensorRT Engine 构建

以下 Python 脚本利用 TensorRT API 生成 INT8/FP16/FP32 引擎：

import tensorrt as trt

TRT_LOGGER = trt.Logger(trt.Logger.INFO)

def build_engine(onnx_file_path, engine_file_path,
                 fp16_mode=True, int8_mode=False,
                 calibration_cache="calib.cache"):
    with trt.Builder(TRT_LOGGER) as builder, \
         builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)) as network, \
         trt.OnnxParser(network, TRT_LOGGER) as parser:

        builder.max_workspace_size = 8 << 30  # 8GB
        builder.fp16_mode = fp16_mode
        builder.int8_mode = int8_mode

        # 解析 ONNX
        with open(onnx_file_path, 'rb') as model:
            parser.parse(model.read())

        # INT8 校准（若启用）
        if int8_mode:
            builder.int8_calibrator = MyCalibrator(calibration_cache)

        engine = builder.build_cuda_engine(network)
        with open(engine_file_path, "wb") as f:
            f.write(engine.serialize())
        return engine

engine = build_engine("custom_model.onnx", "custom_model.trt",
                      fp16_mode=True, int8_mode=False)
print("TensorRT 引擎构建完成")

4.2 推理执行脚本

使用 PyCUDA 载入引擎并执行推理：

import pycuda.driver as cuda
import pycuda.autoinit
import numpy as np

def infer(engine, input_data):
    context = engine.create_execution_context()
    stream = cuda.Stream()

    # 输入输出缓冲区分配
    d_input = cuda.mem_alloc(input_data.nbytes)
    output_size = trt.volume(engine.get_binding_shape(1)) * engine.max_batch_size
    h_output = np.empty(output_size, dtype=np.float32)
    d_output = cuda.mem_alloc(h_output.nbytes)

    bindings = [int(d_input), int(d_output)]

    cuda.memcpy_htod_async(d_input, input_data, stream)
    context.execute_async(batch_size=1, bindings=bindings, stream_handle=stream.handle)
    cuda.memcpy_dtoh_async(h_output, d_output, stream)
    stream.synchronize()
    return h_output

# 测试推理
input_data = np.random.rand(1, 3, 224, 224).astype(np.float32)
output = infer(engine, input_data)
print("推理输出形状：", output.shape)

5 性能调优与 Benchmark

我们对模型在不同配置下进行性能测试，包括：

  • PyTorch 直接在 CUDA 上推理
  • ONNX Runtime GPU
  • TensorRT FP32
  • TensorRT FP16
  • TensorRT INT8（带校准）

5.1 Benchmark 结果

测试时将 batch size 设为 1、8、16；每项取 200 次平均。

配置 Batch Size 平均延迟 (ms) 吞吐 (img/s)
PyTorch CUDA 1 34.2 29
ONNX Runtime 1 28.7 35
TensorRT FP32 1 22.5 44
TensorRT FP16 1 14.3 70
TensorRT INT8 1 9.7 103
TensorRT FP16 8 52.1 153
TensorRT INT8 8 37.6 212
TensorRT INT8 16 62.9 254

5.2 优化策略细节

  1. FP16/INT8 量化

    • FP16 在不明显牺牲精度的前提下能提供约 1.5–2 倍性能提升。
    • INT8 需校准数据集，能进一步提升 ~30–40% 吞吐。

  2. 批处理（Batch）调优

    • A100 Tensor Core 在更高 batch 下效率更高，但延迟与实时性要求冲突时需折中。

  3. TensorRT Workspace

    • builder.max_workspace_size 设置越大，优化空间越大，但需受限于 GPU 内存。

  4. 内存与 I/O 管线

    • 使用固定大小的 CUDA 缓冲池而非每次分配/释放可降低开销。
    • 预加载数据并行处理。

6 实际工程注意事项

6.1 CentOS 8 软件仓库问题

由于 CentOS 8 原版仓库关闭，需使用 Vault 源，否则部分依赖（如 Python dev 包、GCC 版本）可能缺失：

dnf config-manager --add-repo=http://vault.centos.org/8.5.2111/BaseOS/x86_64/os/
dnf config-manager --add-repo=http://vault.centos.org/8.5.2111/AppStream/x86_64/os/

6.2 驱动与 CUDA 兼容性

确保 NVIDIA 驱动版本与 CUDA 版本兼容（例如 CUDA 11.8 通常要求 515+ 驱动）。若出现版本不匹配，可能导致设备不可见或库加载失败。

7 总结与建议

A5数据从硬件环境、软件栈安装、模型转换、TensorRT 引擎构建、推理执行到性能 Benchmark，详细介绍了如何在 CentOS 8 上打造高性能的 A100 推理服务。关键提升来自：

  • 使用 TensorRT 的 FP16/INT8 量化
  • 精细调优 batch、workspace 等参数
  • 利用 CUDA 高效的内存管理与 Tensor Core

在实际部署中，请结合业务延迟需求与精度容忍度，选择合适的推理配置，并持续监控推理性能及资源利用情况。

# 人工智能 # centos # dnn
Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

cover

医疗报销系统信息管理系统源码-SpringBoot后端+Vue前端+MySQL【可直接运行】

avatar 2048 AI社区
cover

【2025最新】基于SpringBoot+Vue的web大学生一体化服务平台管理系统源码+MyBatis+MySQL

avatar 2048 AI社区
cover

【毕业设计】SpringBoot+Vue+MySQL 大学生心理健康管理系统平台源码+数据库+论文+部署文档

avatar 2048 AI社区