标签:大模型开发 | Linux 小白教程 | Shell 入门 | 无基础实战 | 环境搭建避坑

刚接触大模型开发的你,是不是总在教程里看到「Ubuntu 跑模型」「部署到 Linux 云服务器」?

今天不仅用 10 分钟搭好环境,还一次性补完「大模型开发前必须懂的 Linux 基础细节」

—— 全程无术语堆砌、无冗余运维知识,所有内容 100% 服务于大模型开发!


一、先搞懂:大模型开发为啥非 Linux 不可?(3 个真实踩坑案例 + 核心理由)

💡 小白版翻译:不是 Linux 比 Windows 高级,是所有大模型工具的「最优适配环境」都是 Linux,Windows 要么跑不起来,要么跑很慢!

1. 真实踩坑:Windows 装大模型库 = 灾难现场
  • 我带的一位小白用 Windows 装vLLM(大模型高并发推理库),连续 3 天报「CUDA 版本不兼容」「依赖缺失」错误,换 Ubuntu 后一行命令pip install vllm直接成功
  • 另一位小白用 Windows 跑llama.cpp(轻量化大模型推理),仅 12 tokens/s(每秒生成 12 个汉字),换 Ubuntu 后直接38 tokens/s(GPU 加速拉满)。
2. 云服务器唯一选择:所有公网大模型都跑在 Linux 上

你要把自己的 AI 部署到公网(比如让别人能通过 API 调用),99% 的云服务器(阿里云 / 腾讯云 / AWS)只有 Linux 系统选项,没有 Windows 云服务器的「大模型优化版」。

3. 大模型文件的天然适配:Linux 支持超大规模文件

大模型文件动辄几 G / 几十 G(比如 Llama2-70B 要 130G+),Windows 的 NTFS 文件系统对超大文件的兼容性不如 Linux 的 EXT4,经常出现「模型文件损坏无法加载」的问题


二、10 分钟搭建「大模型专用 Linux 环境」:2 种无门槛选择(选 1 即可)

🔍 选项 1:本地 Windows 直接装(WSL2,推荐 0 基础小白)

适用人群:不想买服务器、怕折腾,想先在本地跑小模型的小白
操作步骤(Windows11 官方稳定流程,Windows10 见文末专属避坑)

1. 安装 Ubuntu 22.04 LTS(大模型兼容最好的版本)
  • 打开「微软应用商店」(Windows 搜索栏直接搜),搜「Ubuntu 22.04 LTS」(LTS = 长期维护版,避免后续依赖更新出问题);
  • 点击「获取」→ 自动下载安装(5 分钟左右),安装完成后点击「打开」。
2. 首次登录配置(全程有提示)
  • 输入自定义 Linux 用户名(比如llmdev,别用中文 / 特殊字符)→ 回车;
  • 输入登录密码(输的时候屏幕不会显示,这是 Linux 的安全机制!不是卡了)→ 回车;
  • 再输一遍密码确认→ 回车,完成!
  • ✅ 预期效果:黑窗口显示 llmdev@DESKTOP-XXX:~$(代表你已进入 Linux 的「家目录」,适合存你的大模型项目)。
3. 大模型开发专属优化(必须做!省 50% 后续坑)
  • 优化 1:用 Windows Terminal 替代默认黑窗口(支持复制粘贴 / 中文显示,大模型输长命令更方便):
    • 微软应用商店搜「Windows Terminal」→ 安装;
    • 打开 Windows Terminal,点击右上角「↓」→ 选「Ubuntu-22.04」即可进入优化后的终端。
  • 优化 2:开启 Windows 与 WSL2 的文件互通(不用命令传模型!小白福音):
    • 在 Windows 资源管理器地址栏输入:\\wsl.localhost\Ubuntu-22.04 → 回车,直接看到 Linux 的所有目录!
    • 📌 大模型开发用:你可以直接把本地下载的模型文件拖进这个目录,比如拖到 \\wsl.localhost\Ubuntu-22.04\home\llmdev 下,无需任何命令!
  • 优化 3:配置中文显示(避免大模型输出乱码)
    在终端输入以下命令(复制粘贴即可):
    # 安装中文语言包(自动配置,无需手动修改文件)
    sudo apt install -y language-pack-zh-hans
    
    • ✅ 预期效果:输入date会显示中文日期(比如「2024 年 10 月 25 日 星期五」)。
🔍 选项 2:云服务商免费体验机(直接体验云部署)

适用人群:想提前熟悉云服务器,后续要部署公网大模型的小白

1. 申请免费云服务器
  • 打开「阿里云 / 腾讯云官网」,搜索「云服务器免费体验」→ 选择「Ubuntu 22.04 LTS」系统;
  • 完成实名认证(新用户免费时长 7-30 天不等,具体以官网最新规则为准)。
2. 远程登录与基础配置
  • 进入云服务器控制台,找到「远程登录」(黑窗口图标)→ 点击直接进入 Linux 终端;
  • ✅ 预期效果:终端显示 root@i-XXX:~#(root 是云服务器默认的「超级管理员」账号)。
3. 大模型开发专属配置(必须做!否则后续无法传模型)
  • 配置安全组:在控制台「安全组」里,开放 22 端口(用于远程登录)、开放 80/443 端口(用于后续大模型 API 的公网访问);
  • 创建普通用户(避免用 root 操作导致权限问题):
    # 创建大模型开发专用用户llmdev
    useradd llmdev
    # 切换到llmdev用户
    su - llmdev
    
    • ✅ 预期效果:终端从 root@i-XXX:~# 变成 llmdev@i-XXX:~$

三、大模型开发必须会的「5 个核心 Linux 命令」(绑定大模型场景 + 精准用法)

💡 规则:所有命令严格区分大小写,用 Windows Terminal 可以直接复制粘贴!

命令 小白翻译 大模型开发专属用法 示例代码 + 注释 预期效果
ls 查看当前文件夹的文件 检查模型文件 / 项目文件在不在 bash # 查看当前目录下的大模型文件 ls 显示目录下的文件名,比如llama2-7b.gguf
ls -l 查看文件的详细信息(大小 / 权限) 确认大模型文件下载完整(避免因文件损坏无法加载) bash # 查看llama2-7b模型的文件大小(标准大小约6.8G) ls -l /home/llmdev/llama2-7b.gguf 显示-rw-r--r-- 1 llmdev llmdev 6815744000 Oct 25 10:00 llama2-7b.gguf(6.8G = 完整)
pwd 查看当前的「文件夹位置」 避免找不到大模型存哪里了 bash # 查看当前位置,确认模型目录路径 pwd 显示/home/llmdev/llm/models(你的大模型存放路径)
mkdir -p 创建多级文件夹(自动补全父目录) 创建大模型专属的多级存储目录(避免权限问题) bash # 创建「llm/models」目录,用于存大模型文件 mkdir -p /home/llmdev/llm/models 无报错(若目录已存在也不会报错)
exit 安全退出 Linux 终端 用完别直接关窗口,避免文件损坏 bash # 安全退出当前终端 exit 终端窗口关闭
🚩 小白专属避坑:
  • 命令中的「/」是英文斜杠,不是 Windows 的「\」;
  • 若输入命令报错「Permission denied(权限不足)」,在命令前加sudo(比如sudo mkdir -p /home/llmdev/llm/models),输密码后即可执行;
  • 大模型文件必须存在 /home 目录下(比如/home/llmdev/llm/models),不能存在系统根目录「/」下,否则会因权限不足无法加载。

四、1 分钟大模型场景小测试(立刻验证环境)

用学到的命令,完成「大模型开发前的环境准备」:

# 步骤1:创建大模型专属目录
mkdir -p /home/llmdev/llm/models
# 步骤2:查看当前位置,确认目录创建成功
pwd
# 步骤3:查看目录结构,确认多级目录存在
ls -l /home/llmdev/llm

✅ 预期结果:第 3 步显示「drwxr-xr-x 2 llmdev llmdev 4096 Oct 25 10:15 models」(models 目录已创建,权限正确)。


五、今日成果 & 明日预告

✅ 你已经完成了大模型开发的全部 Linux 前置准备

  1. 搞懂了大模型开发必须学 Linux 的真实原因;
  2. 搭建了 100% 适配大模型的 Linux 环境(本地 / 云任选);
  3. 学会了 5 个能直接用在大模型开发中的核心命令;
  4. 完成了「大模型专属目录创建」的实战测试。

📅 明日预告:《Shell 入门:大模型开发者的「命令组合器」,30 分钟写第一个自动检查大模型完整性的脚本》

💬 互动问题:你今天用了哪一种环境搭建方式?有没有遇到终端乱码 / 文件传不动的问题?评论区留言,我 10 分钟内帮你排查!


📌 合规 / 风险提示

  1. 云服务器的免费时长、配置以服务商(阿里云 / 腾讯云等)官网最新规则为准;
  2. 后续使用的大模型文件请确保合法授权(比如 Llama2 的非商用授权、开源模型的 Apache 2.0 许可证等);
  3. WSL2 的 Windows10 用户若安装失败,请打开「控制面板→程序→启用或关闭 Windows 功能」,勾选「适用于 Linux 的 Windows 子系统」和「虚拟机平台」,重启后再安装;
  4. 大模型文件属于超大文件,请勿存放在系统根目录,否则会导致 Linux 系统性能下降或模型加载失败。
Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐