本地部署AI大模型

1、安装ollama服务端

进入官网: https://ollama.com/
下载ollama服务端

ollama官网查看可下载的模型的列表

比如选择deepseek-r1

使用ollama下载模型

window电脑打开powerShell
输入官网看到的模型的下载命令
例如
ollama run deepseek-r1:7b

官网可以看到这个7b模型是基于qwen2的, 并不是真正的deepseek-r1
模型的大小是4.7GB

简单推断一下想要非常流畅地运行这个模型所需要的配置是
7b ---> 至少需要空闲的7GB显存
4.7GB大小 ---> 至少需要空闲的 4.7G的运行内存

模型的下载和启动的命令都是: ollama run deepseek-r1:7b

下载AI大模型的使用客户端

AI的大模型客户端有很多种,这里使用 cheery-studio
官网:https://cherry-ai.com/
下载完成之后，在设里面配置一下自己选择下载的模型版本即可对话
选择ollama的管理，添加自己下载的模型，然后在对话页面选择对话的模型即可开始对话。