openEuler Linux安装 Ollama 教程:本地部署大模型的完整指南
本文详细介绍了在openEuler Linux系统上安装Ollama工具并本地部署大模型的完整流程。内容包括环境准备(系统架构检查、硬件要求)、安装步骤(基础依赖安装、Ollama部署)、模型运行方法(以Llama3为例),以及国内用户优化的镜像源配置方案。同时提供了常用操作指南(模型管理、服务配置)和常见问题解决方案(权限、内存、网络等问题)。该教程帮助开发者在欧拉系统上快速实现大模型本地化部署
openEuler Linux安装 Ollama 教程:本地部署大模型的完整指南
在 AI 本地化部署需求日益增长的今天,Ollama 凭借其轻量、易用的特性,成为了开发者在本地运行大模型(如 Llama 3、Qwen、Mistral 等)的首选工具。本文将为你提供基于欧拉 Linux(openEuler)系统安装 Ollama 的完整步骤,从环境准备到模型运行,每一步都附带详细说明和问题排查方案,确保新手也能顺利完成部署。
一、前置知识:了解 Ollama 与欧拉 Linux 的适配性
在开始安装前,先明确两个核心概念,避免后续操作踩坑:
- Ollama:一款开源的大模型本地化运行工具,支持一键下载、启动主流大模型,无需复杂的环境配置(如 CUDA、Python 依赖等),底层自动适配 CPU/GPU。
- 欧拉 Linux(openEuler):华为主导的开源服务器操作系统,基于 Linux 内核,兼容大多数 Linux 生态工具,但需注意部分软件可能需要依赖
glibc、curl等基础组件(欧拉默认已预装部分,未装则需手动补充)。
适配说明:Ollama 官方未单独标注 “欧拉 Linux 支持”,但因欧拉兼容 Linux 通用指令,且底层依赖(如x86_64/aarch64架构)与主流 Linux 一致,实际测试中可稳定运行。
二、环境准备:确认系统与硬件要求
安装前需检查系统配置,确保满足 Ollama 的运行条件:
1. 系统架构与版本检查
Ollama 支持x86_64(英特尔 / AMD)和aarch64(ARM,如华为鲲鹏)架构,需先确认欧拉系统的架构:打开终端,执行以下指令:
# 查看系统架构
uname -m
# 查看欧拉系统版本
cat /etc/openEuler-release
- 若输出
x86_64或aarch64,则符合架构要求; - 欧拉系统版本建议为22.03 LTS 及以上(旧版本可能存在依赖缺失问题)。
2. 硬件要求
Ollama 对硬件的要求主要取决于运行的模型大小,核心是内存(RAM) 和存储空间:
| 模型类型 | 最小内存要求 | 推荐存储空间 | 运行建议 |
|---|---|---|---|
| 7B 参数模型(如 Llama 3 7B) | 8GB | 10GB+ | CPU 可运行,GPU 更流畅 |
| 13B 参数模型(如 Qwen 13B) | 16GB | 20GB+ | 建议搭配 GPU(NVIDIA/AMD) |
| 70B 参数模型(如 Llama 3 70B) | 32GB+ | 80GB+ | 必须搭配高性能 GPU |
GPU 支持说明:
- 若使用 NVIDIA 显卡,需提前安装
NVIDIA驱动和CUDA Toolkit(Ollama 会自动检测 CUDA); - 若使用 AMD 显卡,欧拉系统需启用
ROCm驱动(Ollama 对 AMD 的支持略晚于 NVIDIA,建议选择较新的 Ollama 版本); - 无 GPU 则使用 CPU 运行,速度较慢,但可满足轻量测试需求。
三、安装步骤:分 3 步完成 Ollama 部署
步骤 1:安装基础依赖工具
欧拉 Linux 默认可能缺少curl(用于下载 Ollama 安装脚本),需先补充安装:
# 切换至root用户(若当前为普通用户,需输入密码)
su root
# 更新yum源(确保下载的依赖为最新版本)
yum update -y
# 安装curl工具
yum install curl -y
# 验证curl是否安装成功(输出版本号即正常)
curl --version
步骤 2:下载并安装 Ollama
Ollama 提供 Linux 通用安装脚本,可通过curl一键下载并执行,脚本会自动适配系统架构:
# 执行Ollama官方安装脚本(国内用户可替换为镜像源,见下方说明)
curl -fsSL https://ollama.com/install.sh | sh
【国内用户优化】解决下载慢问题
若直接访问官方脚本速度慢,可使用阿里云镜像源下载安装脚本,替换指令为:
# 阿里云镜像源安装Ollama
curl -fsSL https://mirrors.aliyun.com/ollama/install.sh | sh
安装成功验证
安装完成后,终端会输出类似以下信息(无报错即成功):
>>> Installing Ollama to /usr/local/bin...
>>> Creating ollama user...
>>> Adding ollama user to video group...
>>> Starting ollama service...
>>> Ollama installed successfully!
>>> Run `ollama run llama3` to get started.
步骤 3:验证 Ollama 服务状态
Ollama 安装后会自动注册为系统服务(ollama.service),需确认服务是否正常启动:
# 查看Ollama服务状态(active (running) 即正常)
systemctl status ollama
若服务未启动(状态为inactive),执行以下指令手动启动并设置开机自启:
# 启动Ollama服务
systemctl start ollama
# 设置Ollama开机自启(避免重启系统后需重新启动)
systemctl enable ollama
# 再次验证状态
systemctl status ollama
四、使用 Ollama:运行第一个大模型
安装完成后,即可通过终端指令下载并运行大模型,以目前主流的Llama 3 7B(Meta 官方开源模型,平衡性能与速度)为例:
1. 下载并启动模型
在终端执行以下指令,Ollama 会自动下载模型(约 4.7GB,国内用户建议配置镜像源,见下方):
# 运行Llama 3 7B模型(首次执行会下载模型,耐心等待)
ollama run llama3
【国内用户优化】配置模型下载镜像
默认模型下载地址为 Ollama 官方服务器,国内速度慢,可通过设置环境变量指定阿里云镜像源:
# 临时生效(仅当前终端会话有效)
export OLLAMA_HOST=https://ollama.aliyuncs.com
# 永久生效(编辑环境变量配置文件,需重启终端)
echo 'export OLLAMA_HOST=https://ollama.aliyuncs.com' >> /etc/profile
source /etc/profile
2. 与模型交互
模型下载完成后,终端会进入交互模式(显示>>> 提示符),可直接输入问题进行对话,例如:
>>> 请简单介绍欧拉Linux
欧拉Linux(openEuler)是由华为主导、开源社区共建的企业级Linux服务器操作系统,基于Linux内核,主打稳定性、安全性和高性能,广泛应用于云计算、大数据、人工智能等场景,支持x86_64和aarch64(如鲲鹏)架构,适合企业级本地化部署。
>>> 如何用Python读取Excel文件?
在Python中读取Excel文件常用库有pandas和openpyxl:
1. 安装依赖:pip install pandas openpyxl
2. 示例代码:
import pandas as pd
df = pd.read_excel('test.xlsx', engine='openpyxl')
print(df.head())
3. 退出交互模式
若需结束对话,在交互模式下输入以下指令即可退出:
>>> /bye
五、常用操作:模型管理与服务配置
1. 查看已安装的模型
# 列出本地所有模型
ollama list
2. 删除不需要的模型
# 删除Llama 3 7B模型(替换为你要删除的模型名)
ollama rm llama3
3. 运行其他模型
Ollama 支持上百种大模型,常见模型及运行指令如下:
| 模型名称 | 模型特点 | 运行指令 |
|---|---|---|
| Qwen 7B | 阿里开源,中文支持好 | ollama run qwen:7b |
| Mistral 7B | 速度快,适合轻量任务 | ollama run mistral:7b |
| Gemma 7B | Google 开源,适合开发 | ollama run gemma:7b |
| Llama 3 70B | 大参数,生成质量高 | ollama run llama3:70b |
提示:模型名后加
:版本可指定具体版本(如llama3:7b-instruct为指令微调版),完整模型列表可查看Ollama 官方模型库。
4. 配置 Ollama 服务端口(可选)
默认情况下,Ollama 仅本地可访问(端口11434),若需局域网内其他设备访问,需修改服务配置:
# 编辑Ollama服务配置文件
vim /etc/systemd/system/ollama.service.d/override.conf
在文件中添加以下内容(允许所有设备访问,或指定 IP 段):
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
保存并重启服务使配置生效:
# 重新加载服务配置
systemctl daemon-reload
# 重启Ollama服务
systemctl restart ollama
其他设备可通过http://[欧拉Linux的IP]:11434访问 Ollama 服务(需确保防火墙开放 11434 端口)。
六、问题排查:常见错误与解决方法
1. 安装时提示 “Permission denied”
原因:普通用户无权限写入/usr/local/bin目录。解决:切换至 root 用户(su root)后重新执行安装脚本。
2. 模型下载卡住或失败
原因:网络问题或镜像源未配置。解决:
- 按步骤 4 中的 “国内用户优化” 配置阿里云镜像源;
- 若仍失败,检查网络是否能访问外部(
ping baidu.com),或手动下载模型文件后导入(参考Ollama 手动导入文档)。
3. 运行模型时提示 “out of memory”
原因:内存不足,无法支撑模型运行。解决:
- 关闭其他占用内存的进程(
top查看进程,kill -9 进程ID关闭); - 更换更小参数的模型(如将 70B 换成 7B);
- 若有 GPU,确认 GPU 驱动已正确安装(
nvidia-smi查看 NVIDIA 驱动状态)。
4. 服务启动失败(status 为 failed)
原因:依赖缺失或配置文件错误。解决:
- 查看服务日志,定位错误原因:
journalctl -u ollama -f; - 若日志提示 “missing libc”,安装
glibc:yum install glibc -y; - 若配置文件错误,删除
/etc/systemd/system/ollama.service.d/override.conf后重启服务。
七、总结
通过本文的步骤,你已成功在欧拉 Linux 上安装并运行 Ollama,实现了大模型的本地化部署。核心要点回顾:
- 环境准备时需确认系统架构和硬件配置,国内用户优先配置镜像源;
- 安装过程依赖
curl工具,服务启动后需验证状态; - 运行模型时根据内存选择合适的模型参数,避免内存不足;
- 遇到问题时通过日志排查,优先解决网络和依赖问题。
Ollama 的轻量特性让大模型本地化变得简单,后续你可根据需求尝试不同模型,或结合 LangChain、Flowise 等工具搭建更复杂的 AI 应用。如果在使用中遇到新问题,可访问Ollama 官方 GitHub获取最新文档和社区支持。
更多推荐


所有评论(0)