---

---

---

🎯 核心摘要

本文详细介绍了在 Linux 系统上安装和使用 Ollama 大语言模型平台的完整指南。主要内容包括：安装前的系统要求检查、两种安装方式（自动脚本安装和手动定制安装）、基本使用方法（模型下载运行和管理）、以及进阶应用（REST API调用、Python集成、Docker部署和Web图形界面）。文章还提供了常见问题解决方案和性能优化建议，帮助用户从零开始搭建本地大模型平台，适用于不同技术水平的开发者。

---

下面是整个过程的快速导览：

---

🛠️ 安装准备

在开始安装前，请确保您的 Linux 设备满足以下条件，这是顺利运行的基础 。

---

组件	最低要求	推荐配置
内存 (RAM)	8 GB（可运行 1B-7B 参数模型）	16 GB 或以上（可流畅运行 13B 参数模型）
显卡 (GPU)	集成显卡（使用 CPU 模式运行）	NVIDIA GPU（显存 ≥ 8GB） 或 AMD GPU（ROCm） 以获得 GPU 加速
存储空间	SSD硬盘，至少 50 GB 可用空间	准备充足的 SSD 空间以存放大型模型文件
操作系统	主流 Linux 发行版（如 Ubuntu 20.04+）	最新稳定版操作系统

必要检查：在终端中执行以下命令，确认基础环境。

# 检查系统架构
uname -m
# 检查内存和存储
free -h
df -h
# 如果使用NVIDIA GPU，检查驱动
nvidia-smi
# 如果使用AMD GPU，检查ROCm
rocminfo

---

📥 安装 Ollama

你有两种主要安装方式，强烈建议新手使用自动安装。

---

方式一：自动安装（最快最省心）

打开终端，执行官方的一键安装脚本 。

curl -fsSL https://ollama.com/install.sh | sh

安装脚本会自动完成下载、安装和服务配置。安装完成后，重启终端会话，然后验证安装：

ollama --version

---

方式二：手动安装（适合需要定制化）

如果自动安装遇到问题，或希望更精细地控制安装路径，可以手动安装 。

1. 下载二进制文件：

   sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/local/bin/ollama
   sudo chmod +x /usr/local/bin/ollama
   

2. 创建专用用户和用户组（可选，但推荐用于安全隔离）：

   sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama
   

3. 配置系统服务（以便开机自启和方便管理）：
   创建服务文件 /etc/systemd/system/ollama.service，内容如下 ：

   [Unit]
   Description=Ollama Service
   After=network-online.target
   [Service]
   ExecStart=/usr/local/bin/ollama serve
   User=ollama
   Group=ollama
   Restart=always
   RestartSec=3
   [Install]
   WantedBy=default.target
   

4. 启动并启用服务：

   sudo systemctl daemon-reload
   sudo systemctl enable ollama
   sudo systemctl start ollama
   

---

安装后配置（非常重要！）

默认情况下，Ollama 服务只允许本机访问。如果你需要通过局域网或互联网访问，需要修改配置，使其监听所有网络接口 。
编辑服务文件（如 /etc/systemd/system/ollama.service），在 [Service] 部分添加或修改环境变量：

Environment="OLLAMA_HOST=0.0.0.0:11434"

然后重新加载并重启服务：

sudo systemctl daemon-reload
sudo systemctl restart ollama

---

🚀 基本使用：快速开始

安装配置好后，就可以体验本地大模型了。

---

1. 拉取并运行你的第一个模型

使用 ollama run 命令。例如，要运行 Meta 发布的 Llama 3 模型，Ollama 会自动从模型库下载所需的文件 。

ollama run llama3

下载完成后，会直接进入交互式对话界面。

---

2. 常用模型管理命令

掌握以下几个命令，就能高效管理你的本地模型 ：

命令	作用	示例
ollama pull	仅下载模型，不立即运行	ollama pull qwen2:7b
ollama list	列出本地已下载的所有模型	ollama list
ollama rm	删除本地不再需要的模型	ollama rm llama2:13b
ollama ps	查看当前正在运行的模型	ollama ps

---

🔧 进阶应用

Ollama 不仅是命令行工具，更是一个功能完整的本地 AI 服务器。

---

1. 使用 RESTful API

Ollama 服务启动后，默认在 http://localhost:11434 提供了丰富的 REST API，方便你集成到自己的应用中 。

• 生成文本：

  curl -X POST http://localhost:11434/api/generate -d '{
    "model": "llama3",
    "prompt": "请用中文介绍一下你自己",
    "stream": false
  }'
  

• 对话接口（更推荐）：

  curl -X POST http://localhost:11434/api/chat -d '{
    "model": "llama3",
    "messages": [
      { "role": "user", "content": "你好，请说一段话。" }
    ]
  }'
  

---

2. Python 集成

Ollama 提供了官方的 Python 库，可以非常方便地在你的 Python 项目中使用 。

1. 安装库：

   pip install ollama
   

2. 在代码中调用：

   import ollama
   
   response = ollama.chat(model='llama3', messages=[
     {
       'role': 'user',
       'content': '为什么天空是蓝色的？',
     },
   ])
   print(response['message']['content'])
   

---

3. 使用 Docker 运行

如果你熟悉 Docker，也可以通过容器方式运行 Ollama，这有助于环境隔离 。

# 拉取镜像
docker pull ollama/ollama
# 运行容器（基础版）
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
# 运行容器（启用GPU加速）
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

---

4. 部署 Web 图形界面（Open WebUI）

对于习惯图形化操作的用户，可以部署 Open WebUI，获得类似 ChatGPT 的体验 。

docker run -d --network=host \
  -v open-webui:/app/backend/data \
  -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

部署后，在浏览器中访问 http://你的服务器IP:8080 即可使用。

---

⚠️ 常见问题与优化

问题	原因与解决方案
模型下载慢或失败	由于网络原因，可以尝试多次重新执行 ollama pull 命令 。
端口冲突或无法远程访问	确认已正确设置 OLLAMA_HOST=0.0.0.0 并重启服务 。检查防火墙是否放行了 11434 端口。
显存/内存不足	尝试拉取参数更小的模型（如 :7b 版本），或在运行命令时添加 --num_gpu 1 等参数限制 GPU 使用层数 。
修改模型默认存储路径	通过设置环境变量 OLLAMA_MODELS 可以更改模型下载目录，例如在服务文件中添加 Environment="OLLAMA_MODELS=/path/to/your/models" 。

---

希望这份详细的指南能帮助您顺利在 Linux 上搭建属于自己的本地大模型平台！
如果您在具体步骤中遇到问题，欢迎随时提出。

---