这篇文章写给想在自己服务器部署本地大模型助手，但又怕部署太复杂踩坑的开发者。我踩了各种坑整理出这套 step by step 教程，新手也能跟着一步步跑通。

痛点场景

用云服务商的大模型 API 有两个绕不开的问题：

太贵了：调用量上去之后，每个月 API 账单吓死人，随便折腾一下就是几百上千

隐私问题：敏感数据不敢传给第三方 API，公司内部资料更不敢往外发

能不能把大模型直接跑在自己服务器上？数据存在自己这儿，隐私安全，想怎么折腾就怎么折腾，不用怕账单爆炸。

我折腾了几天，终于把 OpenClaw 完整部署到了自己的服务器上，这篇把完整过程和踩过的坑都记下来，你跟着做就能成。

适用场景：

有一台自己的 Linux 服务器（推荐 8 卡或者 2 卡，单卡 16GB 显存也能跑 7B 模型）

想拥有完全属于自己的本地 AI 助手

数据隐私敏感，不想把内容传给第三方 API

喜欢折腾，想自己掌控整套 AI 工具链

环境准备

首先确认你的服务器满足最低要求：

配置项

最低要求

推荐配置

系统

Ubuntu 20.04 / 22.04

Ubuntu 22.04

Python 版本

Python 3.9+

Python 3.10

显存

16GB（跑 7B 量化模型）

24GB+

硬盘

50GB 空闲空间

100GB+

CUDA

11.8+

12.1+

第一步：安装基础依赖

先更新系统，安装需要的基础包：

更新系统

sudo apt update && sudo apt upgrade -y

安装基础依赖

sudo apt install -y git curl wget build-essential \

libssl-dev zlib1g-dev libbz2-dev \

libreadline-dev libsqlite3-dev llvm \

libncurses5-dev libncursesw5-dev xz-utils tk-dev \

libffi-dev liblzma-dev python3-openssl

第二步：克隆项目代码

克隆 OpenClaw 官方仓库

git clone https://github.com/openclaw/openclaw.git

cd openclaw

查看分支，切换到最新稳定版

git branch -a

git checkout main

第三步：配置 Python 虚拟环境

我推荐用 pyenv 管理 Python 版本，避免系统版本冲突：

安装 pyenv（如果你还没装）

curl https://pyenv.run | bash

添加到环境变量（根据你的 shell 选一个）

echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc

echo 'command -v pyenv >/dev/null || export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc

echo 'eval "$(pyenv init -)"' >> ~/.bashrc

重新加载环境变量

source ~/.bashrc

安装 Python 3.10

pyenv install 3.10.14

pyenv local 3.10.14

创建虚拟环境

python -m venv venv

source venv/bin/activate

第四步：安装 Python 依赖

升级 pip

pip install --upgrade pip setuptools wheel

安装项目依赖

pip install -r requirements.txt

避坑指南这里是我实际踩过的几个坑，一定要注意：

坑 1：CUDA 版本不匹配导致 PyTorch 用不了 GPU

问题现象：安装完 PyTorch 之后，运行 python -c "import torch; print(torch.cuda.is_available())" 输出 False

原因：你的系统 CUDA 版本和 PyTorch 编译的 CUDA 版本不匹配

解决方法：

重新安装对应你 CUDA 版本的 PyTorch：

先查看你的 CUDA 版本

nvcc --version

去 https://pytorch.org/ 获取对应你系统的安装命令

比如 CUDA 12.1 用这个：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

验证：

python -c "import torch; print('CUDA available:', torch.cuda.is_available())"

print('GPU count:', torch.cuda.device_count())

应该输出：

CUDA available: True

GPU count: 你显卡的数量

坑 2：Node.js 版本太低，前端构建失败

问题现象：构建前端的时候报错，一堆语法错误不识别

原因：Ubuntu 源里的 Node.js 版本太老（通常是 12.x 或者 14.x），OpenClaw 前端需要 Node 18+

解决方法：用 nvm 安装新版 Node.js：

安装 nvm

curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.3/install.sh | bash

source ~/.bashrc

安装 Node 18

nvm install 18

nvm use 18

验证版本

node -v

应该输出 v18.x.x 以上

坑 3：依赖安装慢或者超时

问题现象：pip install 卡着不动，经常超时失败

解决方法：换国内镜像源：

新建 pip 配置文件

mkdir -p ~/.pip

cat > ~/.pip/pip.conf << EOF

[global]

index-url = https://pypi.tuna.tsinghua.edu.cn/simple

trusted-host = pypi.tuna.tsinghua.edu.cn

EOF

然后重新安装就快很多了。

坑 4：端口被占用，启动失败

问题现象：启动的时候报 Address already in use

解决方法：找到占用端口的进程杀掉，或者改配置文件换个端口：

查找占用 8000 端口的进程

lsof -i :8000

杀掉进程

kill -9 <PID>

配置模型

OpenClaw 支持多种大模型后端，我这里以 Llama 3 7B 为例，用量化版本 16GB 显存就能跑。

1. 1. 下载模型

推荐用 Hugging Face 下载，或者用模型镜像站更快：

安装 huggingface-cli

pip install huggingface_hub

登录（如果你有 HF 账号）

huggingface-cli login

下载量化好的 Llama 3 7B

这里用的是 4-bit 量化版本，大约 4GB 大小

huggingface-cli download bartowski/Llama-3-7B-Instruct-GGUF Llama-3-7B-Instruct.Q4_K_M.gguf --local-dir models

1. 2. 修改配置文件

OpenClaw 用 config.yaml 配置，复制一份模板开始修改：

cp config.example.yaml config.yaml

vi config.yaml

主要修改这几个地方：

model:

模型类型，llama-cpp 适合单 CPU/GPU 运行

backend: llama-cpp

你刚才下载的模型文件路径

model_path: ./models/Llama-3-7B-Instruct.Q4_K_M.gguf

上下文窗口大小，根据你的显存调整

n_ctx: 4096

线程数，根据你的 CPU 核心数调整

n_threads: 8

GPU 层数，全给 GPU 加速就好

n_gpu_layers: 35

配置说明：

n_gpu_layers: 7B 模型总共 33 层左右，设 35 就是全部放 GPU，速度最快

n_ctx: 越大能处理越长的上下文，也越吃显存，4096 足够日常用了

如果你的显存不够，可以降到 2048

启动运行

配置完就可以启动了：

激活虚拟环境（如果你还没激活）

source venv/bin/activate

前端构建（第一次需要，之后不用）

cd frontend

npm install

npm run build

cd ..

启动 OpenClaw

python main.py

正常启动你会看到类似这样的输出：

INFO: Started server process [XXXX]

INFO: Listening on http://0.0.0.0:8000

INFO: OpenClaw is ready!

验证部署

打开浏览器访问 http://你的服务器IP:8000，能看到界面就说明启动成功了：

随便输个问题测试一下，能正常回复就是部署完成了！

Nginx 反向代理（可选）

如果你想通过域名访问，并且加 HTTPS，可以用 Nginx 反向代理：

server {

listen 80;

server_name your-domain.com;

location / {

proxy_pass http://127.0.0.1:8000;

proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme;

}

}

然后用 Let's Encrypt 申请免费证书：

sudo certbot --nginx -d your-domain.com

开机自启（推荐）

用 systemd 设置开机自启，服务器重启后 OpenClaw 自动起来：

sudo vim /etc/systemd/system/openclaw.service

内容如下（修改成你自己的路径）：

[Unit]

Description=OpenClaw AI Assistant

After=network.target

[Service]

Type=simple

User=你的用户名

WorkingDirectory=/path/to/openclaw

ExecStart=/path/to/openclaw/venv/bin/python main.py

Restart=always

RestartSec=10

Environment=PYTHONUNBUFFERED=1

[Install]

WantedBy=multi-user.target

保存后启用：

sudo systemctl daemon-reload

sudo systemctl enable openclaw

sudo systemctl start openclaw

查看状态

sudo systemctl status openclaw

总结

现在你已经拥有了一个完全本地运行的大模型助手了：

✅ 数据完全存在自己服务器，隐私有保障

✅ 不用再交 API 月租，一次部署终身可用

✅ 支持各种模型，随时可以换更大更好的模型

✅ OpenClaw 自带工具调用能力，能扩展各种功能

这篇是《大模型落地踩坑日记》的第五篇，下一篇我会分享 RAG 优化实战：五种方法提升大模型知识库回答准确率，感兴趣可以关注专栏。

如果你部署的时候碰到其他坑，欢迎在评论区留言，我会帮你解答。

标签：OpenClaw 大模型 本地部署 Llama3 AI 隐私 服务器部署

本篇文章收录于专栏 《大模型落地踩坑日记》，记录从 0 到 1 搭建 AI 应用踩过的坑，帮你少走弯路，持续更新中。