在 aarch64 架构 Linux 系统上手动安装 Ollama 完整指南

在基于 ARM 架构的 Linux 系统上安装 Ollama 可能会遇到一些挑战，特别是对于 aarch64 架构。本文将详细介绍如何在 aarch64 架构的 Linux 系统上手动下载、解压并安装 Ollama。

系统环境

本文操作环境：

• 系统：Linux localhost.localdomain 6.12.0-122.el10.aarch64+64k
• 架构：aarch64 (ARM64)
• 发行版：基于 RHEL/CentOS 的系统

安装步骤

1. 准备工作

首先确认系统架构：

uname -a
# 输出示例：Linux localhost.localdomain 6.12.0-122.el10.aarch64+64k #1 SMP PREEMPT_DYNAMIC Mon Aug 18 23:00:29 UTC 2025 aarch64 GNU/Linux

2. 下载 Ollama

访问 Ollama 的 GitHub 发布页面，下载适用于 Linux ARM64 的版本：

# 创建临时目录
mkdir -p /soft
cd /soft

# 下载适用于 aarch64 的 Ollama
wget https://github.com/ollama/ollama/releases/latest/download/ollama-linux-arm64.tgz

3. 解压文件

# 解压下载的文件
tar -xzf ollama-linux-arm64.tgz

# 查看解压后的文件
ls -la

解压后会看到以下目录结构：

bin/
lib/
ollama-linux-arm64.tgz

4. 安装 Ollama

将解压后的文件移动到系统路径：

# 将 bin 和 lib 目录移动到系统路径
sudo mv bin /usr/local/bin/
sudo mv lib /usr/local/bin/

5. 验证安装

# 检查 ollama 是否安装成功
which ollama

# 查看版本
ollama --version

如果安装成功，应该看到类似输出：

ollama version is 0.11.8

而不会再显示 “Warning: could not connect to a running Ollama instance”。

6. 启动 Ollama 服务

方法一：临时启动（前台运行）

# 启动 Ollama 服务
ollama serve

方法二：后台启动

# 后台启动 Ollama 服务
nohup ollama serve > /dev/null 2>&1 &

方法三：使用 systemd（推荐）

创建 systemd 服务文件：

sudo tee /etc/systemd/system/ollama.service << EOF
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
Restart=always
RestartSec=3
User=root

[Install]
WantedBy=multi-user.target
EOF

启动并启用服务：

# 重新加载 systemd 配置
sudo systemctl daemon-reload

# 启动服务
sudo systemctl start ollama

# 设置开机自启
sudo systemctl enable ollama

# 检查服务状态
sudo systemctl status ollama

7. 测试安装

运行一个测试模型验证安装是否成功：

# 运行测试模型
ollama run llama3

第一次运行会自动下载模型文件，这可能需要一些时间。

常见问题及解决方案

1. “Warning: could not connect to a running Ollama instance”

这表示 Ollama 客户端已安装，但服务未运行。请确保已启动 ollama serve 服务。

2. “mv: 对 ‘ollama’ 调用 stat 失败: 没有那个文件或目录”

这是因为没有先解压 .tgz 文件就尝试移动 ollama 文件。请确保先执行 tar -xzf ollama-linux-arm64.tgz 解压文件。

3. 权限问题

如果遇到权限问题，确保使用 sudo 命令，或者检查文件权限：

sudo chmod +x /usr/local/bin/ollama

常用 Ollama 命令

# 查看版本
ollama --version

# 列出已下载的模型
ollama list

# 运行模型
ollama run model_name

# 拉取模型
ollama pull model_name

# 删除模型
ollama rm model_name

# 查看模型信息
ollama show model_name

服务管理命令

# 启动服务
sudo systemctl start ollama

# 停止服务
sudo systemctl stop ollama

# 重启服务
sudo systemctl restart ollama

# 查看服务状态
sudo systemctl status ollama

# 设置开机自启
sudo systemctl enable ollama

# 禁用开机自启
sudo systemctl disable ollama

总结

在 aarch64 架构的 Linux 系统上安装 Ollama 需要注意以下几点：

1. 下载适用于 Linux ARM64 的版本
2. 正确解压文件并移动到系统路径
3. 确保 Ollama 服务正常运行
4. 使用 systemd 管理服务更方便

按照本文的步骤，您应该能够成功在 aarch64 架构的 Linux 系统上安装和运行 Ollama，并开始使用各种大型语言模型。

安装完成后，您可以根据需要下载和运行不同的模型，如 llama3、mistral 等，开始您的 AI 应用开发之旅。