一、简介

运行大模型少不了的驱动之cuda。

win 与 linux 安装 大同小异，这里只以 nvidia 显卡在 windows下的安装 为主。

二、安装显卡驱动 (windows)

2.1 选择对应的驱动

到nvidia 的官网下载对应的驱动

https://www.nvidia.cn/drivers/lookup/

搜索驱动

两个驱动，优先选择 Game 驱动吧。

nvidia app 切换驱动

下载驱动

下载完成后安装即可，建议把nvidia app 一并装上。

2.2 检查驱动是否安装成功

在命令提示符中输入nvidia-smi查看本机显卡支持的最高CUDA版本

记住支持的最高CUDA版本，选择CUDA版本时要用到，同时之后安装大模型要用到的第三方库一般都会强调 cuda 的版本。

三、安装CUDA (windows)

3.1 选择对应的CUDA版本

到nvidia 的官网下载对应的cuda 驱动

https://developer.nvidia.com/cuda-toolkit-archive

下载cuda

下载完成后，安装即可

3.2 检查驱动是否安装成功

在命令提示符中输入nvcc -V 查看 cuda 版本

PS C:\Users\admin> nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Wed_Jan_15_19:38:46_Pacific_Standard_Time_2025
Cuda compilation tools, release 12.8, V12.8.61
Build cuda_12.8.r12.8/compiler.35404655_0

四、安装 Pytorch库 (windows)

4.1 选择对应的Pytorch 版本

注意，
Pytorch 分 GPU版 与 CPU版，
pip install torch torchvision 默认安装的是 CPU版本。

到 Pytorch 的官网选择 对应的版本

这里与大模型的运行开发环境有关，建议使用 conda 隔离环境安装。
参考 03_conda (环境管理)

安装 gpu版本的 pytorch
conda create -n ai_p312_cu129 python=3.12
conda activate ai_p312_cu129
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu129

4.2 检查pytorch是否安装成功

进到安装 pytorch 的环境，执行

conda activate ai_p312_cu129

python -c "import torch; print(torch.__version__)"

显示如下即安装成功

2.x.x+cu129

五、cuDNN 要不要安装? (不建议安装)

cuDNN是一个深度学习加速库

pip 安装 pytorch 默认会安装与之匹配的 cuDNN，如果再手动安装的话可能会出问题。

5.1 cuDNN 库下载URL

https://developer.nvidia.com/cudnn-archive