由于服务器上没有全局CUDA变量，所以只能在conda虚拟环境中安装cuda
安装autogptq时，需要cuda环境变量因此踩了很多坑，网上相关资料也很少，写一篇文章记录一下
首先创建环境

conda create -n gptq python==3.10 #这里采用python3.10，是因为3.11安装torch会缺少一个runtime.h

创建完成后安装torch，torch下载网址 https://download.pytorch.org/whl/，根据自己的显卡和要用的cuda版本找（这里是python3.10，cuda11.8）

pip install torch-2.1.2+cu118-cp310-cp310-linux_x86_64.whl

安装torchvision，

pip install torchvision-0.16.1+cu118-cp310-cp310-linux_x86_64.whl #这里安装vision会把刚才的torch卸载掉，给你装个cpu版本的，得自己再重装一下刚刚的torch

安装完torch以后安装相应的虚拟环境cuda和cudnn，这里参考的是conda虚拟环境中安装cuda和cudnn，再也不用头疼版本号的问题了
首先安装cuda

conda install --use-local cudatoolkit-11.8.0-h6a678d5_0.conda #文件是根据版本下载好的

然后安装cudnn

conda install --use-local cudnn-8.9.2.26-cuda11_0.conda

最后安装nvcc，根据cuda版本号在这里寻找对应命令

conda install nvidia/label/cuda-11.8.0::cuda-nvcc

然后修改CUDA_HOME变量

export CUDA_HOME=/home/xxx/anaconda3/envs/gptq #xxx替换为自己的文件夹

下载并安装AutoGPTQ

git clone https://github.com/PanQiWei/AutoGPTQ
cd AutoGPTQ
pip3 install .