适合人群:想在自己电脑上运行开源大模型、但对命令行有点发怵的新手;关心隐私、希望断网也能用 AI 的同学。

一、LM Studio 是什么

前段时间有 X 用户整理了一份本地运行 AI 的开源工具清单,里面包括 Ollama、llama.cpp、vLLM、Jan、Open WebUI、whisper.cpp、ComfyUI 等,LM Studio 也在其中。它的定位是一个桌面应用:在本地下载模型、加载模型并对话,内容不需要发送到云端 API。

与纯命令行工具相比,LM Studio 提供图形界面,搜索、下载、加载、对话都可以在界面中完成,对第一次接触本地大模型的读者比较友好。

本地运行大模型有几个实实在在的好处:

  • 隐私:对话内容不离开你的电脑;
  • 离线:官方文档明确说明,只要提前下载好模型文件,LM Studio 可以完全离线运行;
  • 零调用费:不按 token 计费,适合大量的小任务;
  • 可玩性:可以对比不同开源模型,理解它们的差异。

当然,本地模型的能力受限于你的硬件,通常比不上顶级的云端模型,这一点要有合理预期。

二、准备工作:先确认电脑配置

根据 LM Studio 官方的系统要求文档:

macOS

  • 需要 Apple Silicon 芯片(M 系列),macOS 14.0 或更新;
  • 推荐 16GB 以上内存,8GB 内存的 Mac 也可能可以用,但要选择较小的模型和较短的上下文;
  • 目前不支持 Intel 芯片的 Mac。

Windows

  • 支持 x64 和 ARM(骁龙 X Elite);
  • x64 处理器需要支持 AVX2 指令集;
  • 建议至少 16GB 内存,建议至少 4GB 独立显存。

Linux

  • 支持 x64 和 ARM64,以 AppImage 形式分发;
  • 需要 Ubuntu 20.04 或更新版本。

三、保姆级操作步骤

步骤 1:下载安装

从 LM Studio 官方网站获取对应系统的安装包。Windows 和 macOS 按安装向导完成安装;Linux 版本为 AppImage,需要先赋予执行权限再运行:

chmod +x LM-Studio-*.AppImage
./LM-Studio-*.AppImage

(文件名以实际版本为准。)

步骤 2:在 Discover 页面下载第一个模型

打开软件,进入 Discover(发现) 标签页。你可以:

  • 直接从官方精选的模型中挑选;
  • 或者在搜索框里输入关键词搜索,比如 “Qwen”、“Gemma”、“Mistral” 等。

新手怎么选模型? 记住一个原则:先小后大。模型文件大小大致决定了它需要占用多少内存/显存。第一次建议选参数量较小的版本(几 B 级别),确认能流畅运行后再尝试更大的。下载页面一般会提示该模型是否适合你的硬件,可以作为参考。

官方文档也提醒:不同模型的开源/开放权重程度和许可证各不相同,如果打算用于商业用途,请先阅读模型的许可协议。

步骤 3:在 Chat 页面加载模型

下载完成后,切换到 Chat(聊天) 标签页:

  1. 点击顶部的模型加载器;
  2. 选择刚下载的模型;
  3. (可选)调整加载参数,比如上下文长度。新手保持默认即可。

官方解释,"加载模型"就是把模型权重等数据放进你电脑的内存中,所以加载时内存占用会明显上升,这是正常现象。

步骤 4:开始聊天

模型加载完成后,在下方输入框直接提问就行。可以试试:

请用通俗的语言解释什么是"大语言模型的参数量",并举一个生活中的比喻。

觉得回答速度慢?可以换一个更小的模型,或者缩短上下文长度。

步骤 5:和文档对话

LM Studio 官方文档中有"Chat with Documents"功能说明,你可以在对话中附加文档,让模型根据文档内容回答。适合阅读说明书、整理笔记等场景,而且文件不需要上传到任何云端。

步骤 6(进阶):开启本地 API 服务

这一功能可以把本地模型变成一个 API 服务,供其他软件调用。

根据官方开发者文档:

  1. 进入 Developer(开发者) 标签页;
  2. 打开 Start server 开关,即可启动 API 服务。

也可以用 LM Studio 自带的命令行工具 lms 启动:

lms server start

官方说明,LM Studio 提供自己的 REST API,同时还提供 OpenAI 兼容和 Anthropic 兼容的接口。这意味着很多支持"自定义 OpenAI 接口地址"的软件(例如 Open WebUI),都可以直接接入你的本地模型。服务地址请以开发者页面显示的为准。

如果想让局域网里的其他设备访问,官方文档有专门的"Serve on Local Network"设置说明,开启前请确认你的网络环境是安全的。

本地模型能帮你做哪些事:五个日常场景

很多同学装好之后会问:"本地模型能力没有云端强,那我用它来做什么?"其实有大量日常任务,本地模型完全够用,而且用起来更安心:

  1. 私密文本处理:日记整理、私人邮件润色、个人财务记录分类,这些内容你可能不愿意发到云端,本地模型正好合适。
  2. 翻译与改写:把一段英文资料翻译成中文,或者把口语化的文字改写成正式的书面语,小模型也能完成得不错。
  3. 头脑风暴:给文章起标题、想活动方案的创意点,本地模型可以无限次地陪你发散,不用担心调用费用。
  4. 学习辅助:让模型用通俗的语言解释概念、出练习题。不过涉及专业知识时,一定要对照教材核实。
  5. 离线应急:出差、旅途中网络不稳定时,本地模型依然可以帮你处理文字工作。

需要注意的是,本地小模型更容易出现"一本正经地胡说八道",尤其是在事实性问题上。所以建议把它定位为"写作和整理助手",而不是"百科全书"。需要准确事实的场景,请查阅权威资料或使用带联网搜索的工具。

和云端 AI 服务相比,该怎么选

简单做个对比,帮你决定什么时候用本地、什么时候用云端:

  • 隐私:本地模型的数据不出电脑,优势明显;云端服务则需要你阅读并接受服务商的隐私政策。
  • 能力:顶级云端模型在复杂推理、长文写作、编程方面通常更强。
  • 成本:本地模型没有调用费,但需要一台配置合适的电脑;云端服务按订阅或用量计费。
  • 便利性:云端服务开箱即用,本地模型需要自己下载和管理。

对大多数人来说,最实用的方案是两者搭配:日常、私密、量大的小任务交给本地,复杂、关键的任务交给云端。

四、常见问题 FAQ

Q1:Windows 上打不开或者提示不支持?
先确认 CPU 支持 AVX2 指令集(大部分近年的 x64 处理器都支持),并确认系统版本符合要求。

Q2:模型加载失败或者电脑变得很卡?
多半是模型太大,超出了你的内存/显存。换一个更小的模型,或者降低上下文长度。

Q3:生成速度很慢?
本地推理速度取决于硬件。有独立显卡、显存足够时会快很多;纯 CPU 运行会明显慢。选择更小的模型是最直接的提速方法。

Q4:真的能断网使用吗?
可以。官方文档说明,只要提前下载好模型文件,LM Studio 可以完全离线运行。

Q5:下载模型很慢?
模型文件动辄几个 GB,下载速度取决于你的网络。可以选择网络较好的时段下载,并确保硬盘有足够空间。

五、模型选择的实用经验

本地模型种类繁多,新手很容易挑花眼。分享几条通用的经验:

  1. 按任务选模型:日常问答、写作润色,用通用对话模型即可;写代码优先找专门针对代码训练的模型;处理中文内容,优先选择中文能力较好的模型系列。
  2. 同系列先试小的:同一系列通常有多种大小,先用最小的验证效果和速度,再逐级往上试,找到"速度和质量"平衡点。
  3. 关注量化版本:模型下载页面常常有同一模型的多个版本,文件越小,占用资源越少,但质量可能略有下降。新手可以优先选择页面推荐的版本。
  4. 一次只加载一个模型:内存有限时,同时加载多个模型很容易导致卡顿,用完一个再换另一个。
  5. 做个小评测:准备 5~10 个你日常真实会问的问题,换模型时都问一遍,记录哪一个回答最让你满意。这比看网上的排行榜更有参考价值。

六、实用小技巧

  1. 建立模型清单:记录每个模型的大小、擅长的任务和你的使用感受,方便下次选择。
  2. 善用预设:LM Studio 支持配置预设(Presets),可以把常用的系统提示词和参数保存起来,一键切换"翻译模式""写作模式"等。
  3. 定期清理:不用的模型及时删除,释放硬盘空间。
  4. 敏感信息照样要小心:虽然本地运行更有隐私保障,但如果开启了局域网服务,就要注意访问控制。
  5. 本地 + 云端搭配用:简单、私密的任务交给本地模型,复杂推理交给云端大模型,兼顾隐私、成本和效果。

七、总结

用 LM Studio 在本地运行大模型,只需要四步:确认配置 → 安装软件 → Discover 下载模型 → Chat 加载并聊天。熟悉之后,再打开 Developer 页面的本地服务,就能把本地模型接入更多应用。整个过程基本不需要命令行操作。

参考资料

  • LM Studio 官方文档:Get started with LM Studio(https://lmstudio.ai/docs/app/basics)
  • LM Studio 官方文档:System Requirements
  • LM Studio 官方文档:LM Studio as a Local LLM API Server
  • X 用户 @DivyanshT91162 关于本地运行 AI 开源项目的分享
Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐