问题描述

如题，在安装llama.cpp过程当中需要引入CMake编译，但是报错：

No CUDA toolset found.

查了好多文章，发现是可能先装了CUDA后装VS导致的，解决方案也都是复制粘贴目标目录底下的文件，我就不过多赘述，但不巧的是我没有以下路径当中的visual_studio_integration，所以尝试直接指定位置

C:\Program Files\NVIDIA GPU Computing
Toolkit\CUDA\v10.2\extras\visual_studio_integration\MSBuildExtensions\

解决方案：

原本的操作：

cd llama.cpp
cmake -B build -DGGML_CUDA=ON # 启动cuda加速
cmake --build build --config Release

改为：

cmake -B build -DCMAKE_CUDA_COMPILER="E:/Nvidia Compute Toolkit/CUDA/v11.8/bin/nvcc.exe" -DCUDA_TOOLKIT_ROOT_DIR="E:/Nvidia Compute Toolkit/CUDA/v11.8"

也就是强制指定CUDA路径，就可以顺利编译
当然，最好的办法其实还是重新装CUDA选择自定义而不是精简安装