问题

NVIDIA 驱动中默认开启加载GPU卡的GSP功能，会随机导致在执行nvidia-smi命令的时候读取GPU卡为ERR状态，或者导致smi命令卡死；
如下图，以A800为例，Centos系统；

涉及到的包含以下型号的GPU卡；

解决方案

禁用GPU卡GSP功能；下面以CentOS系统为例

1、添加参数到系统下的配置文件中；

echo 'options nvidia NVreg_EnableGpuFirmware=0' > /etc/modprobe.d/nvidia-gsp.conf

写入配置文件后，检查配置文件中的参数是否正确:

cat /etc/modprobe.d/nvidia-gsp.conf
# 正常显示：NVreg_EnableGpuFirmware=0

2、添加完参数之后，然后直接重启机器后生效；

3、检查GSP功能是否被禁用，显示状态为NA，即为禁用状态；如果不显示NA，显示数字则未禁用成功：

nvidia-smi -q | grep -i gsp
# 正常显示：  GSP Firmware Version                  : N/A

附：CentOS和Ubuntu系统禁用GSP的参数：

查看系统

lsb_release -a

CentOS 的配置方法

echo 'options nvidia NVreg_EnableGpuFirmware=0' > /etc/modprobe.d/nvidia-gsp.conf

添加参数后请重启机器；

Ubuntu 的配置方法

sudo su -c 'echo options nvidia NVreg_EnableGpuFirmware=0 > /etc/modprobe.d/nvidia-gsp.conf'
sudo update-initramfs  -u

添加完参数，更新完initramfs后请重启机器。