马年新买了一台独显笔记本,显卡是RTX5070 TI,准备用来跑Ollama大模型,需要安装CUDA、cuDNN、Anaconda、Ollama,最后顺利执行。

Windows11安装CUDA

要安装CUDA,最快的方法是登录Nvidia官方网站,查看教程,但会很繁琐。想先上手可以看看我记录的操作步骤,亲测有效:

1、在cmd/power shell输入如下命令:

# 查看输出中的 `CUDA Version`,这表示你的 ‌NVIDIA 驱动支持的最高 CUDA 版本‌。你的 CUDA 工具包版本必须小于或等于此值。
nvidia-smi

请添加图片描述

2、cuda toolkit下载地址:https://developer.nvidia.com/cuda-toolkit-archive,按照指引,选择对应的操作系统/架构,下载安装包:
请添加图片描述
3、双击执行安装包,如果是第一次安装,选择精简(精简版本是下载好所有组件,并且会覆盖原有驱动),一直点击下一步即可,安装完成关闭即可;如果不是第一次安装,建议选择“自定义”安装。
4、如果没有安装Visual Studio,会出现下面的提示,勾选"I understand"后继续。
请添加图片描述
5、安装完成,验证:

nvcc -V

请添加图片描述

安装cuDNN

下面两个地址都可以,我选的是第二个地址:
https://developer.nvidia.com/cudnn
https://developer.nvidia.com/cudnn-downloads
请添加图片描述

以前cuDNN下载后要主动解压,最新版本安装即可。
选了精简模式,直接安装到默认目录:C:\Program Files\NVIDIA\CUDNN\v9.19
网上有些教程会建议做如下3个动作(一下均为默认目录,如果有修改,自行对比):
1、将C:\Program Files\NVIDIA\CUDNN\v9.19\bin\13.1\x64下的dll文件,复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v13.1\bin\x64
2、将C:\Program Files\NVIDIA\CUDNN\v9.19\include\13.1下的.h文件,复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v13.1\include
3、C:\Program Files\NVIDIA\CUDNN\v9.19\lib\13.1\x64下的lib文件,复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v13.1\lib\x64\

检验CUDA和cuDNN是否安装成功

使用代码验证,要求已经安装好torch,我用的是Anaconda,也可以用其他方式。
1、安装pytorch,参考官方指引:https://pytorch.org/get-started

pip3 install torch torchvision --index-url https://download.pytorch.org/whl/cu130

请添加图片描述

import torch

# -------------------------- 1. 检查 CUDA 是否可用 --------------------------
cuda_available = torch.cuda.is_available()
print(f"CUDA 可用状态: {'✅ 可用' if cuda_available else '❌ 不可用'}")

if cuda_available:
    # -------------------------- 2. 检查 CuDNN 是否可用 --------------------------
    cudnn_enabled = torch.backends.cudnn.enabled
    print(f"CuDNN 启用状态: {'✅ 已启用' if cudnn_enabled else '❌ 未启用'}")

    # -------------------------- 3. 额外信息(可选) --------------------------
    print(f"\n📌 额外环境信息:")
    print(f"- CUDA 版本: {torch.version.cuda}")          # PyTorch 编译时使用的 CUDA 版本
    print(f"- CuDNN 版本: {torch.backends.cudnn.version()}")  # CuDNN 版本
    print(f"- GPU 设备数量: {torch.cuda.device_count()}")     # 可用 GPU 数量
    print(f"- 当前 GPU 名称: {torch.cuda.get_device_name(0)}") # 第 1 个 GPU 名称

执行效果如下,说明CUDA cuDNN已经安装成功
请添加图片描述

安装Anaconda

1、进入官网:https://www.anaconda.com/,下载安装包。我选择安装给所有用户。
2、打开power shell,输入

conda --version

若返回:conda: The term ‘conda’ is not recognized as a name of a cmdlet, function, script file, or executable program.
Check the spelling of the name, or if a path was included, verify that the path is correct and try again.
需要设置环境变量,在Path加入如下3条(注意地址要对应):

D:\ProgramData\anaconda3\
D:\ProgramData\anaconda3\Scripts\
D:\ProgramData\anaconda3\Library\bin\

正常的结果如下:
请添加图片描述

3、进入https://www.python.org/downloads/,查看最新的python版本计划,选择当前稳定的版本,比如3.12.9。使用conda创建一个3.12.9的虚拟环境

conda create --name myenv python=3.12.9
conda activate myenv

4、conda主要命令

conda env list
conda create --name myenv python=3.12.9
conda activate myenv
conda remove --name myenv --all
conda create --name newenv --clone myenv
conda update conda

参考:https://cloud.tencent.com/developer/article/2459821

安装Ollama

进入官网Ollama,下载本地安装包,安装即可。
安装后记得修改Model location,避免占用C盘太多空间。
请添加图片描述

执行:ollama run qwen3:14b
运行成功后,输入:你是一名专业中英翻译,将下文翻译为英文:
马蹄声声报春晓,福气满满家门绕。祝您在新的一年里:事业“马”上腾飞,生活“马”上美满,烦恼“马”上消失,好运“马”上就到!马年大吉,阖家安康!
很快得到如下的结果。作为对比,我用另外一台核显笔记本做了同样的事情。RTX5070 TI确实非常快。
具体有多快,留到下次再记录。

请添加图片描述

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐