本文详细介绍了如何使用LM Studio这一轻量级本地大模型推理工具，在Windows和macOS系统上启动并测试LLM。教程涵盖LM Studio的安装、模型下载（支持Llama.cpp引擎及多种模型）、配置和测试步骤，并配有截图。内容还包括本地大模型部署方式对比、GPU加速设置及参数优化建议，适合AI初学者和开发者进行本地大模型部署和体验。

前排提示，文末有大模型AGI-CSDN独家资料包哦！

DeepSeek R1 14B + LM Studio 本地大模型实测

💡 本文将介绍如何使用 LM Studio 启动大语言模型（LLM），并进行推理测试。LM Studio 是一款轻量级的本地大模型推理工具，适用于 Windows 和 macOS，支持 Llama.cpp 推理引擎，可轻松运行 LLaMA2、Mistral、Qwen、DeepSeek 等模型。

🚀 本教程适合入门用户，重点讲解 LM Studio 的安装、模型下载、配置及测试步骤，并附带截图演示！

  1. LM Studio 介绍

什么是 LM Studio？

  • 一款 开源 的本地 LLM 推理 GUI 工具
  • 支持 GGUF 格式大模型（Llama.cpp 后端）
  • 支持 GPU 加速，可用 RTX 4060 / 4070 / 4090 运行大模型
  • 可直接在本地进行 离线 AI 对话，不依赖 OpenAI API

支持的模型

  • Meta LLaMA2 / LLaMA3
  • Mistral / Mixtral
  • Qwen / DeepSeek
  • Gemma / Phi-2
  • Hugging Face 上的任意 GGUF 格式模型

本地大模型部署方式对比

部署方式 Ollama LM Studio vLLM
产品定位 本地快速体验 图形化交互工具 生产级推理引擎
用户群体 开发者/爱好者 非技术用户 企业/工程师
部署复杂度 低 低 中高
性能优化 基础 一般 极致
适用场景 开发测试、原型验证 个人使用、教育演示 高并发生产环境
扩展性 有限 无 强（分布式/云原生）
  1. LM Studio 安装

下载 & 安装

👉 官网下载地址：lmstudio.ai/

Windows / macOS 用户可直接下载并安装，安装步骤很简单，默认下一步即可。

🚀 安装完成后，启动 LM Studio，进入主界面：点击跳过即可。


点击右下角设置，选择语言，设置简体中文。

  1. 下载 & 加载大模型

方式 1：LM Studio 直接下载

  1. 打开 LM Studio，进入 Model（模型）页面
  2. 在 发现 处搜索 LLaMA2-7B / Qwen-7B / DeepSeek-7B/DeepSeek-R1-Distill-Qwen-14B 等
  3. 选择 GGUF 格式（如 DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf）
  4. 点击下载，等待模型下载完成（可能会出现网络问题无法下载）

💡 建议选择 4-bit / 5-bit 量化模型（Q4_K_M、Q5_K_M），更适合消费级显卡（如 4060Ti）

方式 2：手动下载 GGUF 模型

如果 LM Studio 下载速度慢（或者搜索访问不到模型结果），可以去 Hugging Face 或者魔塔社区 手动下载：

  1. 打开 Hugging Face 模型仓库：huggingface 或者 魔塔社区

  2. 搜索 DeepSeek-R1-Distill-Qwen-14B-GGUF 或其他模型（可根据个人PC条件进行选择）
    个人PC情况：CPU：12600KF / 显卡：七彩虹 RTX4060Ti Ultra W OC 8G / 内存：32G
    DeepSeek 7B（Q4_K_M / Q5_K_M） ✅ 可运行（推荐）
    Qwen 7B（Q4_K / Q5_K） ✅ 可运行（推荐）
    DeepSeek 14B（Q4_K_M） ⚠️ 勉强可跑（性能会受影响，会占满 8GB 显存，可能部分数据溢出到内存，导致性能下降）
    DeepSeek 32B（Q4_K_M） ⚠️ 不推荐（性能问题）
    两个网站的14B模型的具体链接如下：
    huggingface.co/bartowski/D…
    www.modelscope.cn/models/unsl…

    量化版本 模型大小（VRAM占用） 适用设备
    Q2_K ~3GB-4GB VRAM 轻量运行，最低精度
    Q3_K_M ~4GB-5GB VRAM 平衡性能与精度
    Q4_K_M ~5GB-6GB VRAM 高质量、适用于 4060 Ti
    Q5_K_M ~6GB-7GB VRAM 更高精度，但可能略卡顿
    Q6_K ~7GB-8GB VRAM 最高量化精度，但对 8GB 显存设备来说压力大

  3. 下载 .gguf 文件，并手动放入 LM Studio 的模型目录

    注意默认模型目录在C盘，我们手动改一下 📂 默认模型路径（可手动调整）：
    Windows: C:\Users\你的用户名\.lmstudio\models
    macOS: ~/Library/Application Support/LM Studio/models/

    保存后注意还需要在模型目录下手动创建一个 Publisher/Repository 目录，并将我们的模型放在此处。

    再回到 LMStudio 中可以看到我们下载的模型。

  1. 启动模型 & 运行测试

运行 DeepSeek-R1-Distill-Qwen-14B-GGUF

  1. 进入 Chat（聊天）界面

  2. 选择下载好的模型（如 DeepSeek-R1-Distill-Qwen-14B-GGUF）

  3. 调整参数，点击加载模型（这里GPU卸载应该是是翻译问题，意思是GPU负载）

  4. 输入问题，进行 AI 对话测试

    提示词：Java实现一个单例模式

    Java实现一个单例模式（思考推理稍微有点慢，但是结果比较准确）


    推理过程

    结果比较准确，两个方式都解答出来了。

    提示词：RPC是基于TCP的吗

    RPC是基于TCP的吗（思考推理稍微有点慢，但是结果比较准确）



    提示词：9.9和9.11哪一个数字大？

    这是一个比较有意思的问题（哈哈哈思考推理比较快，但是结果不太对，比较独特的推理，这个问题很多大模型都会答不太对）

  1. GPU 加速 & 参数优化

开启 GPU 推理

在 Settings（设置） 里调整：

  • GPU Offload → 建议 20-30（启用 GPU 加速）

    验证运行过程还是比较吃资源，运行时电脑稍微有点卡。

💡 不同显存推荐参数

模型 参数量 (B) 原始 FP16 (GB) Q4_K_M (GB) Q5_K_M (GB) 推荐显卡
DeepSeek 7B 7B ~28GB ~4GB ~5GB 4060Ti 8G
DeepSeek 14B 14B ~56GB ~8GB ~10GB 4070 12G
DeepSeek 32B 32B ~128GB ~18GB ~22GB 4090 24G
Qwen 7B 7B ~28GB ~4GB ~5GB 4060Ti 8G
  • DeepSeek-7B / Qwen-7B 适合 4060Ti
  • DeepSeek-14B 推荐 4070 12G 以上
  • DeepSeek-32B 推荐 4090 24G+

读者福利：倘若大家对大模型感兴趣，那么这套大模型学习资料一定对你有用。

针对0基础小白：

如果你是零基础小白，快速入门大模型是可行的。
大模型学习流程较短，学习内容全面，需要理论与实践结合
学习计划和方向能根据资料进行归纳总结

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

请添加图片描述

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

👉大模型视频和PDF合集👈

这里我们能提供零基础学习书籍和视频。作为最快捷也是最有效的方式之一，跟着老师的思路，由浅入深，从理论到实操，其实大模型并不难。

在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

# 人工智能 # transformer
Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

Prompt，除了使用外，你了解其核心原理么？

是的，除了日常“用”提示词之外，我对它的底层机制有比较系统的理解。Prompt Engineering 之所以在 2023–2026 年成为大模型时代最实用、最“玄学”又最科学的技能之一，是因为它本质上在操控 Transformer 架构的，而非修改模型权重。下面从最底层原理解释为什么“改几个词、加几句话”就能让模型表现天差地别（基于 Transformer 自注意力 + 预训练 + 后训练机制）

avatar 2048 AI社区

AI 生图进入“修图时代”：Seedream 5.0 的交互式编辑到底有多强？

如果把 Midjourney 比作“导演喊 Action，一镜到底出大片”，Flux 比作“摄影师抓拍真实瞬间”，那么。

avatar 2048 AI社区
cover

ATF (ARM Trusted Firmware) -2：完整启动流程

avatar 2048 AI社区