关于Linux中引用auto_gptq提示“CUDA extension not installed”
引用auto_gptq时报CUDA extension not installed的提示。2、安装bitsandbytes。3、从源码安装gptq。
·
问题现象如下：
引用auto_gptq时报CUDA extension not installed的提示
解决方案（以下解决方案的前提是torch torchvision torchaudio都装好cu118版本了）：
1、下载官方源码：
git clone https://github.com/AutoGPTQ/AutoGPTQ.git2、安装bitsandbytes
pip install bitsandbytes --no-cache-dir3、从源码安装gptq
pip install . (Install from source AutoGPTQ)
然后就没问题了！
有“AI”的1024 = 2048，欢迎大家加入2048 AI社区
更多推荐
5
0- 0
已为社区贡献4条内容
所有评论(0)