Ollama工具用途:作为LLM模型服务器

1.点击“install”之后,执行自动安装。安装后进入命令窗口,输入:ollama --version ,显示版本号即安装成功。安装后根目录默认在C盘。

2.更改模型存储盘到D盘,我打算修改根目录到D盘实现模型存储路径的修改,目前系统变量名称:OLLAMA_MODELS,值:C:\JZDSLx\ollama_models,修改值为:D:\AIModels\ollama_models。

*在Windows系统中,Ollama默认将模型存储在C:\Users\<用户名>\.ollama\models目录下。

重启ollama服务:命令重启或终止进程:

1)终止服务:

注意,先结束Ollama app.exe,再结束Ollama.exe。

2)启动服务:

(1)双击程序启动图标

  • 点击屏幕左下角的 Windows图标(或按键盘上的 Win 键)
  • 在搜索栏输入 “PowerShell”

(2)命令启动

  • ollama serve
  • ollama serve --host 0.0.0.0 --port 11434

3.输入命令,检查存储路径修改是否成功: ls $env:OLLAMA_MODELS

4.拉取模型:输入ollama pull 【模型名称,如llama3】 ,我这里下载deepseek14b和7b:

*Ollama官方维护的模型库,是权威的版本查询途径,实时更新支持的模型及版本信息:https://ollama.com/library/deepseek-r1。

ollama pull deepseek-r1:7b、ollama pull deepseek-r1:14b

5.检查模型安装:

  • 查看本地已安装的模型列表: ollama list

  • 查看指定模型的详细信息(含版本标识) :ollama show <model_name>

6.启动模型:ollama run <model_name>

注意:服务默认运行在 http://localhost:11434

7.验证服务:打开浏览器或 PowerShell,发送测试请求,若返回 JSON 响应(含生成文本),则服务正常。

# 使用 curl 测试

curl http://localhost:11434/api/generate -d '{

  "model": "deepseek-r1-distill-qwen-14b:4bit-gguf",

  "prompt": "你好",

  "stream": false

}'

其他常用命令:

# 查看11434端口是否被Ollama占用 Get-NetTCPConnection -LocalPort 11434 | Where-Object{ $_.OwningProcess -eq (Get-Process ollama).Id }

# 检查D盘是否生成文件 dir D:\ollama_models

# 查看D盘存储占用 Get-Volume -DriveLetter D | Select-Object SizeRemaining

# 列出所有模型 ollama list

# 删除指定模型 ollama rm deepseek-7b

# 压缩备份模型目录 Compress-Archive -Path D:\ollama_models -DestinationPath D:\backup\ollama_models_$(Get-Date -Format yyyyMMdd).zip

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐