1. flash_attn安装

https://github.com/Dao-AILab/flash-attention/releases
地址
github地址下载对应cuda和pytorch版本的flash-attention进行本地安装。
如：cuda11.7 torch1.13.1 python3.9

pip install flash_attn-2.3.0+cu117torch1.13cxx11abiFALSE-cp39-cp39-linux_x86_64.whl

2. auto-gptq安装

https://github.com/PanQiWei/AutoGPTQ/releases/
地址
github地址下载对应cuda版本的auto-gptq进行本地安装。
如：cuda11.7 python3.9

pip install auto_gptq-0.4.2+cu117-cp39-cp39-linux_x86_64.whl