OpenClaw人人养虾:Ollama(本地模型)
Ollama 是一款开源的本地模型运行工具,可以在你的电脑上一键运行各种开源大模型。数据完全在本地处理,无需网络连接,非常适合注重隐私或离线使用的场景。
·
Ollama 是一款开源的本地模型运行工具,可以在你的电脑上一键运行各种开源大模型。数据完全在本地处理,无需网络连接,非常适合注重隐私或离线使用的场景。
安装 Ollama
macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh
Windows
前往 Ollama 官网 下载 Windows 安装包并运行。
验证安装
ollama --version
拉取模型
安装 Ollama 后,需要先下载(拉取)模型:
# 推荐:通义千问 2.5(中文表现优秀)
ollama pull qwen2.5:14b
# DeepSeek V3(强大的开源推理模型)
ollama pull deepseek-v3
# Llama 3(Meta 开源模型)
ollama pull llama3:8b
# 查看已下载的模型
ollama list
配置 OpenClaw
// ~/.openclaw/config.json
{
"models": {
"providers": {
"ollama": {
"baseUrl": "http://localhost:11434"
}
}
}
}
认证配置(Ollama 默认无需认证):
openclaw models auth login --provider ollama
openclaw models default set ollama/qwen2.5:14b
推荐模型
以下是适合中文用户的本地模型推荐:
| 模型 | 拉取命令 | 说明 |
|---|---|---|
| Qwen 2.5 7B | ollama pull qwen2.5:7b |
中文能力优秀,资源需求低 |
| Qwen 2.5 14B | ollama pull qwen2.5:14b |
中文最佳平衡选择 |
| Qwen 2.5 32B | ollama pull qwen2.5:32b |
中文深度理解 |
| DeepSeek V3 | ollama pull deepseek-v3 |
推理能力强 |
| Llama 3 8B | ollama pull llama3:8b |
通用能力好 |
| Llama 3 70B | ollama pull llama3:70b |
接近 GPT-4 水平 |
| CodeLlama 13B | ollama pull codellama:13b |
编程专用 |
硬件要求
| 模型参数量 | 最低显存(VRAM) | 推荐显存 | 最低内存(RAM) |
|---|---|---|---|
| 3B | 2 GB | 4 GB | 8 GB |
| 7B | 4 GB | 8 GB | 16 GB |
| 14B | 8 GB | 12 GB | 24 GB |
| 32B | 16 GB | 24 GB | 32 GB |
| 70B | 36 GB | 48 GB | 64 GB |
说明
- 如果没有独立显卡,Ollama 会自动使用 CPU 推理(速度较慢)
- Apple Silicon(M1/M2/M3/M4)的统一内存可同时用于显存和内存
- 量化版本(如
q4_0)可以降低显存需求,但会略微影响质量
性能优化
GPU 加速
确保已安装对应的 GPU 驱动:
# NVIDIA GPU - 确认 CUDA 可用
nvidia-smi
# AMD GPU - 确认 ROCm 可用
rocm-smi
调整并发数
# 设置 Ollama 并发数
export OLLAMA_NUM_PARALLEL=2
# 设置模型在内存中的保持时间
export OLLAMA_KEEP_ALIVE=30m
使用量化模型
对于显存有限的设备,选择量化版本:
# 4-bit 量化版本,显存需求约为原始模型的 1/4
ollama pull qwen2.5:14b-q4_0
故障排查
Ollama 服务未启动
# 启动 Ollama 服务
ollama serve
# 或检查服务状态
curl http://localhost:11434/api/tags
模型加载失败
- 检查磁盘空间是否充足
- 确认模型已成功下载:
ollama list - 尝试重新拉取模型:
ollama pull <model>
推理速度慢
- 确认 GPU 驱动已正确安装
- 尝试使用更小的模型或量化版本
- 关闭其他占用 GPU 资源的程序
无法连接 OpenClaw
- 确认 Ollama 正在运行:
curl http://localhost:11434 - 检查 OpenClaw 配置中的
baseUrl是否正确 - 如果 Ollama 在远程机器上,修改
baseUrl为对应地址
《DeepSeek高效数据分析:从数据清洗到行业案例》聚焦DeepSeek在数据分析领域的高效应用,是系统讲解其从数据处理到可视化全流程的实用指南。作者结合多年职场实战经验,不仅深入拆解DeepSeek数据分析的核心功能——涵盖数据采集、清洗、预处理、探索分析、建模(回归、聚类、时间序列等)及模型评估,更通过金融量化数据分析、电商平台数据分析等真实行业案例,搭配报告撰写技巧,提供独到见解与落地建议。助力职场人在激烈竞争中凭借先进技能突破瓶颈,实现职业进阶,开启发展新篇。

更多推荐


所有评论(0)