文章介绍大模型本地部署基础知识，包括CPU/GPU和源码/应用两种分类方式。详细讲解ollama和LM Studio两款工具的安装和使用，以及源码部署方法。推荐新手使用LM Studio，有编程基础的考虑源码部署，并强调配置好Python环境的重要性。最后提供AI大模型学习资料获取方式。

---

今天分享下关于大模型本地部署的一些基础知识，做一个简单的入门，并科普相关的工具使用。

一、大模型本地部署有哪些方式

大模型本地部署，顾名思义就是把大模型部署到我们本地的笔记本或者台式机上。

由于大模型本身动辄几十亿甚至上百亿的参数，使用普通的方法去部署大模型会非常吃力。为此，研究员们开发了很多本地部署的框架的应用来帮助我们更好的进行本地部署。

按照推理使用的方式不同，可以分为两类，CPU 部署和 GPU 部署。CPU 部署主要是用 CPU 进行推理，因此需要占用大量的内存空间去存放大模型的参数。而 GPU 部署会把大模型部署到 GPU 上，由于 GPU 的价格比较昂贵，现在主流的部署框架都支持这两种方式供大家选择。

按照使用方式的不同，主要分为源码部署和应用部署。源码部署就是自行配置相关的 python 以及开发环境，这种就要求大家需要一定的编程基础才能搞懂。另外应用部署，就是使用一些厂商预先提供好的工具直接安装后进行部署使用，适合新手入门。

常见的源码部署主要有 transformers、vLLM、llama.cpp 等，而应用部署可以选择 ollama 或者 LM Studio。 下面，我们将分别讲述几种不同的部署方式。

二、采用 ollama 本地部署

我们简单和大家讲解下 ollama 以及 LM Studio 两种不同应用部署的具体步骤。这两者的基本功能都比较类似，均可以支持不同大模型的本地部署，并且会优先使用 GPU 进行推理。如果没有发现 GPU，就会使用 CPU 推理，因此也会占用一部分内存。从实际使用来看，笔记本内存应该至少为 8GB 才能正常运行。

ollama 的官网：ollama.com/

直接点击下方的 Download 进行下载安装即可，安装完成后会发现一个羊驼一样的图标。

以 MAC 为例，在启动台可以展示这个图标就表示安装成功。点击就可以运行

Ollama 运行后，默认是没有 webui 界面的，想要添加 webui，需要自己安装另外的项目。比如可以安装 anythingllm，去配置好本地的端口就可以在 ui 中使用 ollama 的模型了。 anythingllm.com/download

这里，我们重点讲下命令行调用的方式。首先，是安装模型，我们如下图所示，点击网页上的 Models 页面，然后点击红框内的 llama3.1 进入到模型详情页。

在此页面中，我们可以看到 ollama 支持的llama3.1 的详细信息，8b 的模型大小是 4.7GB,因此至少需要 8GB 显存才能正常使用。 使用 ollama run llama3.1:8b 命令就可以直接启动这个模型。如果之前没有下载，该命令还会帮我们直接下载此模型。

在命令行中执行 ollama list 可以看到我们现在本地存在的模型，并可以使用 run 命令将其启动。

Run 一个不存在的模型时，会先进行下载，然后再启动。

下载完成后，就会直接进入回答的窗口，可以直接输入提示词让大模型进行回答。

使用也比较简单，可以直接进行对话。直接在命令行输入提示词就可以，理论上电脑性能越好，输出的速度就越快。

输入 /bye 就可以退出这个程序。

LM Studio

LM Studio 功能比 ollama 更强一些，而且有 UI 界面可以直接使用，更适合新手小白。因此，更加推荐大家尝试和使用这个软件去部署本地大模型。

官网：lmstudio.ai/ 同样，找到对应的版本，直接下载就可以了。

下载完成后同样会显示一个图标，直接点开登录就可以。

登录之后，会看到下面这个界面，然后在搜索的地方，可以搜索你喜欢的模型。

我们以 llama3.1 为例，去使用这个搜索功能。在搜索框中输入 llama3.1，然后点击 Go 按钮。

LM Studio 会搜索网上的资源，并进行展示。左侧是它搜索出来的所有 llama 3.1 相关的资源，我们可以任意点击一个进去查看更详细的信息。点击之后，会出现右侧所示的内容，可以看到不同版本的模型供我们下载。

其中，提示语显示为绿色的就是我们电脑支持的模型大小，可以随便下载。而蓝色的则表示，使用时速度会受一些影响，红色的则表示当前模型在我们电脑上无法运行。大家根据实际情况，下载适合自己电脑的版本就可以了。 下载完模型后，可以点击左侧红色框的地方，进行和大模型的对话。在上面红色框的地方，可以加载现在安装到你本地的模型。

下面是展示和 llama3 7b对话的效果。

另外，LM Studio 和 ollama 都是支持和兼容 Open API的接口的，对开发者也十分友好。限于篇幅，我们后面会给大家详细介绍。

使用源码部署 使用源码部署，需要一定的编程基础，这里我们以 Qwen2 的部署为例，简单给大家介绍下。

根据我们实际体验，建议 transformers>=4.40.0，Python 3.10， Pytorch 2.2，CUDA 12.0 版本比较合适和稳定。

可以直接参考下面的代码去运行 Qwen2 的模型，红框里的代码会在 HF 上下载相关的模型。这里模型的名字是 Qwen2-7B-Instruct，意思是这是一个指令微调的版本，可以用于和我们进行正常的对话聊天。

这个代码默认在 GPU 上执行，因此需要至少 16GB 显存，显存不足的可以更换成 0.5B 的模型或者 INT4 量化的版本 如果运行顺利，正常会打印类似下面的日志，并根据用户的提示词，输出最终的回答。

我们简单总结下，今天一共讲了三种不同的本地部署的方法。其中 LM Studio 是推荐新手和小白优先使用的 有编程基础的，可以考虑使用源码去本地部署大模型 切记，源码部署一定要配置好对应的python环境，否则你会花大量的时间在调试 bug 上面。

零基础如何高效学习大模型？

你是否懂 AI，是否具备利用大模型去开发应用能力，是否能够对大模型进行调优，将会是决定自己职业前景的重要参数。

为了帮助大家打破壁垒，快速了解大模型核心技术原理，学习相关大模型技术。从原理出发真正入局大模型。在这里我和鲁为民博士系统梳理大模型学习脉络，这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码免费领取🆓**⬇️⬇️⬇️

【大模型全套视频教程】

教程从当下的市场现状和趋势出发，分析各个岗位人才需求，带你充分了解自身情况，get 到适合自己的 AI 大模型入门学习路线。

从基础的 prompt 工程入手，逐步深入到 Agents，其中更是详细介绍了 LLM 最重要的编程框架 LangChain。最后把微调与预训练进行了对比介绍与分析。

同时课程详细介绍了AI大模型技能图谱知识树，规划属于你自己的大模型学习路线，并且专门提前收集了大家对大模型常见的疑问，集中解答所有疑惑！

深耕 AI 领域技术专家带你快速入门大模型

跟着行业技术专家免费学习的机会非常难得，相信跟着学习下来能够对大模型有更加深刻的认知和理解，也能真正利用起大模型，从而“弯道超车”，实现职业跃迁！

【精选AI大模型权威PDF书籍/教程】

精心筛选的经典与前沿并重的电子书和教程合集，包含《深度学习》等一百多本书籍和讲义精要等材料。绝对是深入理解理论、夯实基础的不二之选。

【AI 大模型面试题 】

除了 AI 入门课程，我还给大家准备了非常全面的**「AI 大模型面试题」，**包括字节、腾讯等一线大厂的 AI 岗面经分享、LLMs、Transformer、RAG 面试真题等，帮你在面试大模型工作中更快一步。

【大厂 AI 岗位面经分享（92份）】

【AI 大模型面试真题（102 道）】

【LLMs 面试真题（97 道）】

【640套 AI 大模型行业研究报告】

【AI大模型完整版学习路线图（2025版）】

明确学习方向，2025年 AI 要学什么，这一张图就够了！

👇👇点击下方卡片链接免费领取全部内容👇👇

抓住AI浪潮，重塑职业未来！

科技行业正处于深刻变革之中。英特尔等巨头近期进行结构性调整，缩减部分传统岗位，同时AI相关技术岗位（尤其是大模型方向）需求激增，已成为不争的事实。具备相关技能的人才在就业市场上正变得炙手可热。

行业趋势洞察：

• 转型加速： 传统IT岗位面临转型压力，拥抱AI技术成为关键。
• 人才争夺战： 拥有3-5年经验、扎实AI技术功底和真实项目经验的工程师，在头部大厂及明星AI企业中的薪资竞争力显著提升（部分核心岗位可达较高水平）。
• 门槛提高： “具备AI项目实操经验”正迅速成为简历筛选的重要标准，预计未来1-2年将成为普遍门槛。

与其观望，不如行动！

面对变革，主动学习、提升技能才是应对之道。掌握AI大模型核心原理、主流应用技术与项目实战经验，是抓住时代机遇、实现职业跃迁的关键一步。

01 为什么分享这份学习资料？

当前，我国在AI大模型领域的高质量人才供给仍显不足，行业亟需更多有志于此的专业力量加入。

因此，我们决定将这份精心整理的AI大模型学习资料，无偿分享给每一位真心渴望进入这个领域、愿意投入学习的伙伴！

我们希望能为你的学习之路提供一份助力。如果在学习过程中遇到技术问题，也欢迎交流探讨，我们乐于分享所知。

*02 这份资料的价值在哪里？*

专业背书，系统构建：

• 本资料由我与鲁为民博士共同整理。鲁博士拥有清华大学学士和美国加州理工学院博士学位，在人工智能领域造诣深厚：

• • 在IEEE Transactions等顶级学术期刊及国际会议发表论文超过50篇。
  • 拥有多项中美发明专利。
  • 荣获吴文俊人工智能科学技术奖（中国人工智能领域重要奖项）。

• 目前，我有幸与鲁博士共同进行人工智能相关研究。

内容实用，循序渐进：

• 资料体系化覆盖了从基础概念入门到核心技术进阶的知识点。

• 包含丰富的视频教程与实战项目案例，强调动手实践能力。

• 无论你是初探AI领域的新手，还是已有一定技术基础希望深入大模型的学习者，这份资料都能为你提供系统性的学习路径和宝贵的实践参考，助力你提升技术能力，向大模型相关岗位转型发展。

  

抓住机遇，开启你的AI学习之旅！