文章详细介绍了本地部署大模型的必要性和操作流程。阐述了三大优势：数据隐私控制、离线可用性和个性化改造。以Deepseek为例，通过Ollama下载模型、安装嵌入模型，并使用Chatbox等交互工具搭建完整本地环境，为个人和企业提供了实用的AI部署方案。

前排提示，文末有大模型AGI-CSDN独家资料包哦！

首先说明一下为什么需要学习本地部署大模型？

相信很多人都刷到过“根本没必要部署本地大模型”、“得到的只是一个阉割版的人工智障”类似云云。

之前我作为以流畅使用Deepseek为目标的个人用户，在耗费小半天时间部署完Chatbox、Cheery studio和Anything LMM之后发现得到了个人工智障，同时也没有解决卡顿问题的时候。

但后来随着接触的深入和视角的转变，慢慢开始觉得本地部署对自己学习AI以及未来科研和工作过程中都是必须要接触的东西。

再回到刚才的问题：为什么要部署本地的大模型？

对于个人来说：

本地部署大模型至少有以下几点优势：

1）数据隐私的绝对控制：私人笔记/课题组保密数据等敏感信息无需上传云端，本地推理保证数据不出设备。对课题组的话可以通过本地部署构建专属知识库来管理和调用本课题组的保密数据（最近很多课题组老师都在尝试）。

2）离线场景的持续可用*：在网络受限的环境下，比如偏远地区科考、军事区域中，仍可进行文档分析、代码生成等任务。*

3）深度个性化改造：可以通过微调（Fine-tuning）优化模型在特定任务上的性能，使其能够更好地适应特定任务，比如化工模拟的科研任务。

企业自然更不必说，从最近诸多企业争先恐后在企业内部数据库中接入了Deepseek就可见一斑。

接下来就以本地部署Deepseek为例介绍一下如何将其部署到本地。

本地部署的核心流程包括：

*1）****选择能够供大模型在本地运行的工具：***包括Ollama、LM studio和Docker等工具，其中作为轻量级工具，支持Windows/Mac/Linux系统，适用于快速部署。安装后通过命令行下载模型（如ollama run deepseek），即可在本地运行；

2）
获取所需要部署的大模型：****比如Deepseek*、ChatGPT、Gemini等，这些主流的模型API可以通过硅基流动、*Hugging Face、阿里云等平台获取；

*3）***交互界面搭建：**在有模型和供模型运行的基础后，还需要搭建交互界面来与AI互动，目前用的比较多的就是刚才提到的Chatbox、Cheery studio和Anything LMM。

理解完核心流程之后开始部署：

一、首先是下载Ollama，网址在这：https://ollama.com/，下载即可。

二、下载完成后会在电脑上看到这个羊驼图表，点击启动

三、按快捷键Win+R*，输入cmd确定*

四、输入ollama run +模型名称，然后按回车键开始下载。（根据下方附图中的硬件要求选择下载一个或多个模型。此过程可能会稍慢，如果下载失败，请重新输入命令再次尝试。）

至于安装多大的模型，可以参考这个表格根据自己电脑配置选择模型

*选择好之后开始下载，*如下所示：

这里下载的是7b的蒸馏版，其余版本可以输入：

ollama run deepseek-r1:1.5b

ollama run deepseek-r1:7b

ollama run deepseek-r1:8b

ollama run deepseek-r1:14b

安装中：

五、deepseek-r1模型下载完成后，当提示“success”时，表示下载已成功完成。

其实在这个命令提示符窗口就可以运行了，比如：

但是显然这实在难以顺利交流，既没有记忆窗口，也没法实现除对话外的其他功能，所以需要交互的工具，但是在下载交互工具之前，必须要安装嵌入模型。

因为AI无法理解自然语言，必须将文本转换为向量，AI才能更好地理解和处理自然语言。

六、打开新的CMD窗口，输入命令并按回车键，下载nomic-embed-text嵌入式模型，在*命令提示符窗口输入：*ollama pull nomic-embed-text

*温馨提示：若需要删除模型，请输入命令**ollama rm +**模型名称，例如：*ollama rm deepseek-r1:14b

七、当deepseek-r1和nomic-embed-text**模型下载完成后，开始安装Chatbox、Cheery studio或者是Anything LMM软件**（三选一）

至于三款软件，可以参考下面总结进行选择：

1*、Cherry Studio：界面友好，简洁丰富，支持本地知识库，内置的“智能体”很赞，各个领域很详细很丰富很专业，比如“技术作家”、“DevOps工程师专家”、“爆款文案”、“健身教练专家”等；*

*网址：*https://cherry-ai.com/

2*、AnythingLLM：界面比较严肃，内置嵌入模型和向量数据库，本地知识库强大；*

*网址：*https://anythingllm.com/

3*、Chatbox：专注于对话式AI，比较简洁，能读文档，但不能搞本地知识库，内置“我的搭档”，少而精，比如“做图表”、“旅行搭子”、“夸夸机”、“小红书文案生成器”等。*

*网址：*https://chatboxai.app/zh

八、下载好之后从硅基流动中获取API密钥

*网址：*https://cloud.siliconflow.cn/account/ak

九、在刚才下载的Chatbox、Cheery studio或者是Anything LMM
安装模型

Cheery studio**：**

Anything LMM**：**

1）在软件设置中的 LLM首选项 界面，选择提供商为 Ollama，在 Ollama Model 中选择前面下载的 DeepSeek-R1 系列模型，点击 Save changes 保存更改。

2）在 Embedder首选项 界面，选择嵌入引擎提供商为 Ollama，在 Ollama Embedding Mode 中选择 nomic-embed-text，然后点击 保存更改。

点击工作区设置，在聊天设置界面如下设置，点击 Update workspace agent 更新工作区代理：

在代理配置界面，将 工作区代理LLM提供商 选择为 Ollama，将 工作区代理模型 选择为 deepseek-r1，点击 Update workspace agent 更新工作区代理。

至此完成。

Chatbox**：**

至此，三种UI交互模式的本地部署都已完成，可以在各自平台上开始尝试。

个人用户路线图：

写在最后：****虽然我本地部署完几乎没用过这几个，但是最近愈发觉得AI*发展，能给我们生活、科研和工作各方面带来巨大的便利，特别是开源大模型的不断迭代，能够通过本地部署来作为更加个人化的助理来处理更加隐私的事情。*

现在算是初步尝试吧，等以后换了更高配置的硬件，大模型更加智能化之后，希望能有一天能自己搭建贾维斯那样的个人管家。

文章来自网上，侵权请联系博主
读者福利：倘若大家对大模型感兴趣，那么这套大模型学习资料一定对你有用。

针对0基础小白：

如果你是零基础小白，快速入门大模型是可行的。
大模型学习流程较短，学习内容全面，需要理论与实践结合
学习计划和方向能根据资料进行归纳总结

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

这里我们能提供零基础学习书籍和视频。作为最快捷也是最有效的方式之一，跟着老师的思路，由浅入深，从理论到实操，其实大模型并不难。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓