树莓派 5 上运行 Gemma3:270m 本地大模型体验

最近脑子里一直有个想法：树莓派 5 能不能直接跑大语言模型？

大模型确实很吃算力，但一些小模型其实已经可以在单板机上运行。于是我就尝试了一下 Gemma3:270m，结果发现：它真的可以跑起来！

---

环境准备

运行环境：

• 硬件：Raspberry Pi 5 (8GB RAM)

• 系统：Raspberry Pi OS (Bookworm 64-bit)

• 模型框架：Ollama

Ollama 在 ARM64 架构下也提供了预编译包，但是因为 Pi 上网络经常拉不下来大文件，我选择了在笔记本上下载好，再传到树莓派。

下载地址：
👉 ollama-linux-arm64.tgz

上传到树莓派之后解压安装：

sudo tar -C /usr -xzf ollama-linux-arm64.tgz

然后创建 ollama 用户并配置 service：

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

---

配置 systemd 服务

在 /etc/systemd/system/ollama.service 新建 service 文件：

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=multi-user.target

启动服务：

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama
sudo systemctl status ollama

---

运行 Gemma3:270m

准备工作完成后，就可以直接拉取并运行模型了：

ollama run gemma3:270m

效果如下图：

在 Raspberry Pi 5 上，Gemma3:270m 可以跑到 约 18 tokens/s，简单的对话完全没有问题。

---

使用体验与总结

• 优势：

  • 模型小（270M），可以常驻内存

  • 性能在树莓派上完全够用

  • 简单对话、命令控制、语音助手类场景非常合适

• 不足：

  • 模型能力有限，处理复杂问题会力不从心

  • 树莓派的存储和内存还是有限，不适合跑大模型

✨ 总结一句：Gemma3:270m 非常适合作为 Raspberry Pi 上的轻量级本地大语言模型，尤其适合 DIY 语音助手、边缘计算等小场景。