Windows 11部署本地Ollama大模型
本文详细介绍了在Windows 11系统下部署本地Ollama大模型的完整流程。首先需要下载Ollama安装包并创建专用目录,通过设置环境变量指定模型存储路径。安装时需使用命令行指定安装位置以避免占用C盘空间。文中提供了选择大模型的具体方法,并展示了如何使用ollama run命令完成模型下载和安装。最后还汇总了Ollama的常用命令,包括服务管理、模型操作等功能。整个过程配有详细截图说明,适合W
Windows 11部署本地Ollama大模型
本文将简述如何下载Ollama和安装、配置Ollama、安装大模型的操作。
系统要求:Requires Windows 10 or later
1.下载Ollama安装包
提示:请开启网络加速,下载速度很慢需要很长时间
2.新建Ollama目录
在磁盘上空间比较充裕的位置创建Ollama目录,copy安装文件到目录中。新建modules目录,用于存放大模型。
3.设置环境变量
在环境变量中新增环境变量,变量名:OLLAMA_MODELS,变量值:modules位置
4.安装Ollama
进入Ollama程序所在目录,打开命令窗口,执行
.\OllamaSetup.exe /DIR="your\custom\path"
DIR表示你的ollama安装位置。
执行完成后使用Ollama -v,如果正常显示版本表示安装成功。如下图:
注意:安装windows版本,如果双击安装,无法选择路径,默认是C盘,后续大模型也会安装在C盘,导致系统运行速度变慢。
运行后台服务以支持API调用(默认端口11434)
5.选择大模型
在ollama官网中找到,想要安装的大模型,复制右上角的命令。
6.本地安装大模型
使用ollama run qwen3:4b安装,首次运行时和docker 一样会拉取对应大模型,等待100%。
7.本地大模型对话
安装完成100%以后,就要可以进行对话了
8.Ollama 常规命令
启动服务 ollama serve
停止服务 ollama stop 终止Ollama服务进程
查看运行状态 ollama ps
下载模型:ollama pull <模型名称>
列出所有模型:ollama list
运行模型:ollama run 模型名称
删除模型:ollama rm 模型名称
查看模型详情:ollama show 模型名称
更多推荐
所有评论(0)