cuDNN（CUDA Deep Neural Network library）是NVIDIA开发的专为深度学习设计的GPU加速库，主要用于优化深度神经网络中的核心计算操作（如卷积、池化、激活函数等），显著提升训练和推理效率，广泛应用于主流深度学习框架（如TensorFlow、PyTorch）。

官方网址：NVIDIA cuDNN - NVIDIA Docs

主要用途‌

• ‌加速模型训练‌：优化卷积、矩阵乘法等耗时操作，例如在Llama2 70B模型微调中实现1.15倍速度提升。‌‌
• ‌提升推理性能‌：针对实时推理场景（如图像识别、语音处理）提供低延迟计算支持。‌‌
• ‌扩展功能支持‌：如闪存注意力（Flash Attention）等新兴算法，适配大语言模型需求。‌‌3‌

‌应用场景‌

1. ‌计算机视觉‌：CNN模型（如ResNet、YOLO）的加速训练与部署。‌‌1‌
2. ‌自然语言处理‌：Transformer架构（如GPT、BERT）的高效实现。‌‌
3. ‌科研与工业开发‌：为学术研究和企业级AI应用提供底层计算优化。‌‌

cuDNN的安装包下载网址：cuDNN Archive | NVIDIA Developer

（1）下载cuDNN时要根据CUDA的版本来选择相应的版本。根据已安装的CUDA的版本选择合适的cuDNN版本。前一篇文章我们已安装了CUDA12.9（我们可以在Anaconda自带的Anaconda Prompt输入命令：nvidia-smi 查看CUDA的版本，如下图所示）。因此，在选择cuDNN版本时，可以选择任何一个包含”for CUDA 12.x“字样的选项，并单击“Local Installer for Windows(Zip)”链接下载cuDNN的安装包，如下下图所示：

（2）点击之后页面会跳转到注册账号，填写自己的qq邮箱，设置登录密码，然后随意填写姓、名、机构名称。接着会让选择感兴趣的方面，这里也是随便选即可，然后点击操作按钮，就会发现cuDNN的安装包自动下载了。cuDNN的安装包如下右图所示:

将此安装包进行解压，可以发现共有4个文件

（3）将安装包中的bin文件夹中的所有文件复制到CUDA安装路径【上一篇文章介绍的是如何安装CUDA，安装路径为D:\apphome\cuda12.9】的bin文件夹中；使用同样的方法，依次将安装包中include和lib文件夹中的所有文件分别复制到D:\apphome\cuda12.9路径下的include、lib文件夹中，如图所示，注意：请不要直接复制bin、include和lib文件夹，因为这些同名的文件夹包含的文件不完全相同。

end验证cuDNN是否安装成功

找到目录D:\apphome\cuda12.9\extras\demo_suite，在上面路径栏输入cmd，打开该路径的终端

转到下面界面，输入命令：deviceQuery.exe

运行该命令，如果出现PASS相关信息就可继续进行测试，否则说明cuDNN安装失败（可以选择重启再来验证）。

接着运行命令：bandwidthTest.exe，如果出现PASS相关信息表示cuDNN安装成功，测试如图所示：、

至此，以上步骤即是cuDNN安装步骤及验证是否安装成功方法。