Ollama 是一款开源的本地模型运行工具,可以在你的电脑上一键运行各种开源大模型。数据完全在本地处理,无需网络连接,非常适合注重隐私或离线使用的场景。

安装 Ollama

macOS / Linux

curl -fsSL https://ollama.com/install.sh | sh

Windows

前往 Ollama 官网 下载 Windows 安装包并运行。

验证安装

ollama --version

拉取模型

安装 Ollama 后,需要先下载(拉取)模型:

# 推荐:通义千问 2.5(中文表现优秀)
ollama pull qwen2.5:14b

# DeepSeek V3(强大的开源推理模型)
ollama pull deepseek-v3

# Llama 3(Meta 开源模型)
ollama pull llama3:8b

# 查看已下载的模型
ollama list

配置 OpenClaw

// ~/.openclaw/config.json
{
  "models": {
    "providers": {
      "ollama": {
        "baseUrl": "http://localhost:11434"
      }
    }
  }
}

认证配置(Ollama 默认无需认证):

openclaw models auth login --provider ollama
openclaw models default set ollama/qwen2.5:14b

推荐模型

以下是适合中文用户的本地模型推荐:

模型 拉取命令 说明
Qwen 2.5 7B ollama pull qwen2.5:7b 中文能力优秀,资源需求低
Qwen 2.5 14B ollama pull qwen2.5:14b 中文最佳平衡选择
Qwen 2.5 32B ollama pull qwen2.5:32b 中文深度理解
DeepSeek V3 ollama pull deepseek-v3 推理能力强
Llama 3 8B ollama pull llama3:8b 通用能力好
Llama 3 70B ollama pull llama3:70b 接近 GPT-4 水平
CodeLlama 13B ollama pull codellama:13b 编程专用

硬件要求

模型参数量 最低显存(VRAM) 推荐显存 最低内存(RAM)
3B 2 GB 4 GB 8 GB
7B 4 GB 8 GB 16 GB
14B 8 GB 12 GB 24 GB
32B 16 GB 24 GB 32 GB
70B 36 GB 48 GB 64 GB

说明

  • 如果没有独立显卡,Ollama 会自动使用 CPU 推理(速度较慢)
  • Apple Silicon(M1/M2/M3/M4)的统一内存可同时用于显存和内存
  • 量化版本(如 q4_0)可以降低显存需求,但会略微影响质量

性能优化

GPU 加速

确保已安装对应的 GPU 驱动:

# NVIDIA GPU - 确认 CUDA 可用
nvidia-smi

# AMD GPU - 确认 ROCm 可用
rocm-smi

调整并发数

# 设置 Ollama 并发数
export OLLAMA_NUM_PARALLEL=2

# 设置模型在内存中的保持时间
export OLLAMA_KEEP_ALIVE=30m

使用量化模型

对于显存有限的设备,选择量化版本:

# 4-bit 量化版本,显存需求约为原始模型的 1/4
ollama pull qwen2.5:14b-q4_0

故障排查

Ollama 服务未启动

# 启动 Ollama 服务
ollama serve

# 或检查服务状态
curl http://localhost:11434/api/tags

模型加载失败

  • 检查磁盘空间是否充足
  • 确认模型已成功下载:ollama list
  • 尝试重新拉取模型:ollama pull <model>

推理速度慢

  • 确认 GPU 驱动已正确安装
  • 尝试使用更小的模型或量化版本
  • 关闭其他占用 GPU 资源的程序

无法连接 OpenClaw

  • 确认 Ollama 正在运行:curl http://localhost:11434
  • 检查 OpenClaw 配置中的 baseUrl 是否正确
  • 如果 Ollama 在远程机器上,修改 baseUrl 为对应地址

 

《DeepSeek高效数据分析:从数据清洗到行业案例》聚焦DeepSeek在数据分析领域的高效应用,是系统讲解其从数据处理到可视化全流程的实用指南。作者结合多年职场实战经验,不仅深入拆解DeepSeek数据分析的核心功能——涵盖数据采集、清洗、预处理、探索分析、建模(回归、聚类、时间序列等)及模型评估,更通过金融量化数据分析、电商平台数据分析等真实行业案例,搭配报告撰写技巧,提供独到见解与落地建议。助力职场人在激烈竞争中凭借先进技能突破瓶颈,实现职业进阶,开启发展新篇。

 

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐