ollama本地部署大模型
1.在C盘以外的盘中创建两个文件夹ollama和ollamamodel,我这里安装到D盘。ollama: 放置安装路径ollamamodel: 放下载的模型2.把下载的ollama安装包剪切到ollama文件夹下并且在启动cmd命令输入或者直接在当前文件夹下输入cmd也可以3.安装即可。
1.访问ollama官网,对应自己的系统下载ollama

2.更改ollama软件安装路径
1.在C盘以外的盘中创建两个文件夹ollama和ollamamodel,我这里安装到D盘。
ollama: 放置安装路径
ollamamodel: 放下载的模型
2.把下载的ollama安装包剪切到ollama文件夹下
并且在当前文件夹下启动cmd命令
输入ollamasetup.exe /DIR=D:\ollama
或者直接在当前文件夹下输入cmd也可以

3.执行命令安装即可
更改默认模型的安装路径
更改系统环境变量,需要重启电脑才会生效

3.查看可以下载的大模型
搜索需要下载的大模型

打开大模型详情页面,选择版本可以复制运行大模型的命令

模型大小选择与电脑相近的显存,比如我的电脑是8G显存,可以选择qwen3:8b
然后运行cmd命令,输入ollama run qwen3:4b即可下载
为了演示,我这里选择4b的模型,命令行窗口显示success就成功了。

通过在对话命令行中输入/bye或使用快捷键Ctrl + d来退出。
安装完成后可以测试访问:
http://localhost:11434/
Ollama默认使用11434端口
4.常用命令
cmd下执行
ollama list 查看安装的Ollama环境
ollama run qwen3:8b 运行模型
ollama rm qwen3:8b 删除模型
更多推荐



所有评论(0)