LM Studio 本地运行大模型入门:安装、离线对话与本地 API 配置
适合人群:想在自己电脑上运行开源大模型、但对命令行有点发怵的新手;关心隐私、希望断网也能用 AI 的同学。
一、LM Studio 是什么
前段时间有 X 用户整理了一份本地运行 AI 的开源工具清单,里面包括 Ollama、llama.cpp、vLLM、Jan、Open WebUI、whisper.cpp、ComfyUI 等,LM Studio 也在其中。它的定位是一个桌面应用:在本地下载模型、加载模型并对话,内容不需要发送到云端 API。
与纯命令行工具相比,LM Studio 提供图形界面,搜索、下载、加载、对话都可以在界面中完成,对第一次接触本地大模型的读者比较友好。
本地运行大模型有几个实实在在的好处:
- 隐私:对话内容不离开你的电脑;
- 离线:官方文档明确说明,只要提前下载好模型文件,LM Studio 可以完全离线运行;
- 零调用费:不按 token 计费,适合大量的小任务;
- 可玩性:可以对比不同开源模型,理解它们的差异。
当然,本地模型的能力受限于你的硬件,通常比不上顶级的云端模型,这一点要有合理预期。
二、准备工作:先确认电脑配置
根据 LM Studio 官方的系统要求文档:
macOS
- 需要 Apple Silicon 芯片(M 系列),macOS 14.0 或更新;
- 推荐 16GB 以上内存,8GB 内存的 Mac 也可能可以用,但要选择较小的模型和较短的上下文;
- 目前不支持 Intel 芯片的 Mac。
Windows
- 支持 x64 和 ARM(骁龙 X Elite);
- x64 处理器需要支持 AVX2 指令集;
- 建议至少 16GB 内存,建议至少 4GB 独立显存。
Linux
- 支持 x64 和 ARM64,以 AppImage 形式分发;
- 需要 Ubuntu 20.04 或更新版本。
三、保姆级操作步骤
步骤 1:下载安装
从 LM Studio 官方网站获取对应系统的安装包。Windows 和 macOS 按安装向导完成安装;Linux 版本为 AppImage,需要先赋予执行权限再运行:
chmod +x LM-Studio-*.AppImage
./LM-Studio-*.AppImage
(文件名以实际版本为准。)
步骤 2:在 Discover 页面下载第一个模型
打开软件,进入 Discover(发现) 标签页。你可以:
- 直接从官方精选的模型中挑选;
- 或者在搜索框里输入关键词搜索,比如 “Qwen”、“Gemma”、“Mistral” 等。
新手怎么选模型? 记住一个原则:先小后大。模型文件大小大致决定了它需要占用多少内存/显存。第一次建议选参数量较小的版本(几 B 级别),确认能流畅运行后再尝试更大的。下载页面一般会提示该模型是否适合你的硬件,可以作为参考。
官方文档也提醒:不同模型的开源/开放权重程度和许可证各不相同,如果打算用于商业用途,请先阅读模型的许可协议。
步骤 3:在 Chat 页面加载模型
下载完成后,切换到 Chat(聊天) 标签页:
- 点击顶部的模型加载器;
- 选择刚下载的模型;
- (可选)调整加载参数,比如上下文长度。新手保持默认即可。
官方解释,"加载模型"就是把模型权重等数据放进你电脑的内存中,所以加载时内存占用会明显上升,这是正常现象。
步骤 4:开始聊天
模型加载完成后,在下方输入框直接提问就行。可以试试:
请用通俗的语言解释什么是"大语言模型的参数量",并举一个生活中的比喻。
觉得回答速度慢?可以换一个更小的模型,或者缩短上下文长度。
步骤 5:和文档对话
LM Studio 官方文档中有"Chat with Documents"功能说明,你可以在对话中附加文档,让模型根据文档内容回答。适合阅读说明书、整理笔记等场景,而且文件不需要上传到任何云端。
步骤 6(进阶):开启本地 API 服务
这一功能可以把本地模型变成一个 API 服务,供其他软件调用。
根据官方开发者文档:
- 进入 Developer(开发者) 标签页;
- 打开 Start server 开关,即可启动 API 服务。
也可以用 LM Studio 自带的命令行工具 lms 启动:
lms server start
官方说明,LM Studio 提供自己的 REST API,同时还提供 OpenAI 兼容和 Anthropic 兼容的接口。这意味着很多支持"自定义 OpenAI 接口地址"的软件(例如 Open WebUI),都可以直接接入你的本地模型。服务地址请以开发者页面显示的为准。
如果想让局域网里的其他设备访问,官方文档有专门的"Serve on Local Network"设置说明,开启前请确认你的网络环境是安全的。
本地模型能帮你做哪些事:五个日常场景
很多同学装好之后会问:"本地模型能力没有云端强,那我用它来做什么?"其实有大量日常任务,本地模型完全够用,而且用起来更安心:
- 私密文本处理:日记整理、私人邮件润色、个人财务记录分类,这些内容你可能不愿意发到云端,本地模型正好合适。
- 翻译与改写:把一段英文资料翻译成中文,或者把口语化的文字改写成正式的书面语,小模型也能完成得不错。
- 头脑风暴:给文章起标题、想活动方案的创意点,本地模型可以无限次地陪你发散,不用担心调用费用。
- 学习辅助:让模型用通俗的语言解释概念、出练习题。不过涉及专业知识时,一定要对照教材核实。
- 离线应急:出差、旅途中网络不稳定时,本地模型依然可以帮你处理文字工作。
需要注意的是,本地小模型更容易出现"一本正经地胡说八道",尤其是在事实性问题上。所以建议把它定位为"写作和整理助手",而不是"百科全书"。需要准确事实的场景,请查阅权威资料或使用带联网搜索的工具。
和云端 AI 服务相比,该怎么选
简单做个对比,帮你决定什么时候用本地、什么时候用云端:
- 隐私:本地模型的数据不出电脑,优势明显;云端服务则需要你阅读并接受服务商的隐私政策。
- 能力:顶级云端模型在复杂推理、长文写作、编程方面通常更强。
- 成本:本地模型没有调用费,但需要一台配置合适的电脑;云端服务按订阅或用量计费。
- 便利性:云端服务开箱即用,本地模型需要自己下载和管理。
对大多数人来说,最实用的方案是两者搭配:日常、私密、量大的小任务交给本地,复杂、关键的任务交给云端。
四、常见问题 FAQ
Q1:Windows 上打不开或者提示不支持?
先确认 CPU 支持 AVX2 指令集(大部分近年的 x64 处理器都支持),并确认系统版本符合要求。
Q2:模型加载失败或者电脑变得很卡?
多半是模型太大,超出了你的内存/显存。换一个更小的模型,或者降低上下文长度。
Q3:生成速度很慢?
本地推理速度取决于硬件。有独立显卡、显存足够时会快很多;纯 CPU 运行会明显慢。选择更小的模型是最直接的提速方法。
Q4:真的能断网使用吗?
可以。官方文档说明,只要提前下载好模型文件,LM Studio 可以完全离线运行。
Q5:下载模型很慢?
模型文件动辄几个 GB,下载速度取决于你的网络。可以选择网络较好的时段下载,并确保硬盘有足够空间。
五、模型选择的实用经验
本地模型种类繁多,新手很容易挑花眼。分享几条通用的经验:
- 按任务选模型:日常问答、写作润色,用通用对话模型即可;写代码优先找专门针对代码训练的模型;处理中文内容,优先选择中文能力较好的模型系列。
- 同系列先试小的:同一系列通常有多种大小,先用最小的验证效果和速度,再逐级往上试,找到"速度和质量"平衡点。
- 关注量化版本:模型下载页面常常有同一模型的多个版本,文件越小,占用资源越少,但质量可能略有下降。新手可以优先选择页面推荐的版本。
- 一次只加载一个模型:内存有限时,同时加载多个模型很容易导致卡顿,用完一个再换另一个。
- 做个小评测:准备 5~10 个你日常真实会问的问题,换模型时都问一遍,记录哪一个回答最让你满意。这比看网上的排行榜更有参考价值。
六、实用小技巧
- 建立模型清单:记录每个模型的大小、擅长的任务和你的使用感受,方便下次选择。
- 善用预设:LM Studio 支持配置预设(Presets),可以把常用的系统提示词和参数保存起来,一键切换"翻译模式""写作模式"等。
- 定期清理:不用的模型及时删除,释放硬盘空间。
- 敏感信息照样要小心:虽然本地运行更有隐私保障,但如果开启了局域网服务,就要注意访问控制。
- 本地 + 云端搭配用:简单、私密的任务交给本地模型,复杂推理交给云端大模型,兼顾隐私、成本和效果。
七、总结
用 LM Studio 在本地运行大模型,只需要四步:确认配置 → 安装软件 → Discover 下载模型 → Chat 加载并聊天。熟悉之后,再打开 Developer 页面的本地服务,就能把本地模型接入更多应用。整个过程基本不需要命令行操作。
参考资料
- LM Studio 官方文档:Get started with LM Studio(https://lmstudio.ai/docs/app/basics)
- LM Studio 官方文档:System Requirements
- LM Studio 官方文档:LM Studio as a Local LLM API Server
- X 用户 @DivyanshT91162 关于本地运行 AI 开源项目的分享
更多推荐


所有评论(0)