Windows 11部署本地Ollama大模型

本文将简述如何下载Ollama和安装、配置Ollama、安装大模型的操作。
系统要求:Requires Windows 10 or later

在这里插入图片描述

1.下载Ollama安装包

在这里插入图片描述
提示:请开启网络加速,下载速度很慢需要很长时间

2.新建Ollama目录

在磁盘上空间比较充裕的位置创建Ollama目录,copy安装文件到目录中。新建modules目录,用于存放大模型。
在这里插入图片描述

3.设置环境变量

在环境变量中新增环境变量,变量名:OLLAMA_MODELS,变量值:modules位置
在这里插入图片描述

4.安装Ollama

进入Ollama程序所在目录,打开命令窗口,执行

.\OllamaSetup.exe /DIR="your\custom\path"

DIR表示你的ollama安装位置。
执行完成后使用Ollama -v,如果正常显示版本表示安装成功。如下图:
在这里插入图片描述

注意:安装windows版本,如果双击安装,无法选择路径,默认是C盘,后续大模型也会安装在C盘,导致系统运行速度变慢。
运行后台服务以支持API调用(默认端口11434)

5.选择大模型

在ollama官网中找到,想要安装的大模型,复制右上角的命令。
在这里插入图片描述
在这里插入图片描述

6.本地安装大模型

使用ollama run qwen3:4b安装,首次运行时和docker 一样会拉取对应大模型,等待100%。
在这里插入图片描述

7.本地大模型对话

安装完成100%以后,就要可以进行对话了
在这里插入图片描述

8.Ollama 常规命令

‌启动服务‌ ollama serve
‌停止服务‌ ollama stop 终止Ollama服务进程
‌查看运行状态‌ ollama ps
下载模型:ollama pull <模型名称>
列出所有模型:ollama list
在这里插入图片描述
运行模型:ollama run 模型名称
删除模型:ollama rm 模型名称
查看模型详情:ollama show 模型名称
在这里插入图片描述

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐