Deepseek大模型现在在大家都工作和生活中都已经普遍使用起来了!大家如果只是日常的使用网页版是最好的模型。但是为什么要学习Deepseek的本地部署呢?

什么是本地部署?

我们使用的APP和web版本的deepseek是官方部署在他们服务器上并开放给所有人可以使用的;而我们今天讲的本地部署的意思就是部署一个大模型在你的本地的机器或者服务器上,使用本地的大模型而非公网的大模型。

为什么要本地部署呢?

其实如果日常生活和工作的使用公网的deepseek使用就很方便,打开即用。但是通用大模型也会有以下的问题:

1)有些项目的需求或者代码、数据等不方便公开到网络上,公司私密信息放上去有暴露泄密的风险,那么需要用到大模型的地方就可以本地部署一个;

2)deepseek训练的数据会截止至一个时刻,例如2024年,那么2025年至今的事情deepseek是无法知道的。

通过本地部署 DeepSeek,我们成功搭建起一个完全自主可控的智能语言处理环境。这不仅可以保护数据隐私,还可以进行模型定制优化,也为各类创新应用的开发提供了坚实基础。

Deepseek本地部署方案

Deepseek本地部署的方案有很多,我给大家介绍相对用的最多最主流、而且部署很简单的一种方法 ;大家按照我讲解的步骤,基本都可以自己本地部署成功。

1)ollama:一个开源的本地化大型语言模型(LLM)运行平台工具,也可以理解为一个模型加载器,旨在让用户在个人电脑或服务器上轻松运行和管理大型语言模型。

  • Ollama支持多种操作系统,包括 macOS、Linux 和 Windows,并提供跨平台支持;

  • 它支持丰富的模型库,包括 Llama 2、Mistral、Gemma、CodeLlama 等,并提供类 OpenAI 的 API 接口,方便与第三方应用集成。

2)Chatbox:ChatBox通常是指一个基于人工智能(AI)的聊天界面或平台,它允许用户通过文本或语音与人工智能进行交互。ChatBox的核心功能包括:

1、聊天机器人(Chatbot):ChatBox通常包含一个或多个聊天机器人,这些机器人能够模拟人类对话,为用户提供信息、服务或娱乐。

2、自然语言处理(NLP):ChatBox利用自然语言处理技术来理解用户的输入(如问题、指令或闲聊)并生成合适的响应。

3、用户交互:用户可以通过键盘输入文本或使用语音与ChatBox进行交流。

DeepSeek要本地部署,对机器的配置还是有很大的要求的:

准备本地部署的服务器或者电脑后,详细的部署步骤如下:

第一步:进⼊Ollama官⽹https://ollama.com/download,选择合适版本进⾏下载(这⾥以windows为例)

第二步:下载完成后,打开⽂件,点击install进⾏安装                 

等待安装完成,可以看到电脑右下角有如下提示信息:

第三步:安装成功之后,打开CMD窗⼝(快捷键Win+R),输⼊ollama -v, 如果出现版本号就说明安装成功

注意:模型默认是安装在C盘,如果C盘存储空间不够,可将C:\Users\⾃⼰电脑的⽤⼾名\.ollama下的models⽂件复制到其他盘,然后打开系统变量中的环境变量,点击新建,把变量名OLLAMA_MODELS及models⽂件位置添加进去即可。

这样后面大模型使用过程中生成的文件就不会在C盘了,而是在你指定的module所在目录。

环境变量的配置如下:

第四步:进⼊Ollama官⽹https://ollama.com/library/deepseek-r1,选择适配⾃⼰电脑的模型版本,默认版本是7b。点击右侧的复制按钮:

通过cmd进⼊D盘,粘贴刚才复制的ollama run deepseek-r1 即可下载模型。此处下载的是默认版本:

注意: ollama run deepseek-r1 是会拉取并运行大模型,如果只是想拉取可以用pull命令:ollama pull deepseek-r1

第五步:然后就可以对模型进⾏提问了。后续也可直接打开CMD,进⼊模型所在的盘,⽐如D盘,输⼊如下命令,即可进⾏对话。

Chatbox的图形化界面部署

上面不是完后只能用命令行模式交互,不太友好,所以我们可以用图形化界面AI 交互工具 Chatbox:让AI互动更加方便。

官网下载:https://chatboxai.app/zh

下载后,直接安装即可启动如下界面:

Chatbox的配置:

1、选择本地大模型: Ollama API -->本地大模型

2、显示配置:可以进行一些简单的配置,如下图:

3、保存好配置后,就可以在这个图形化界面上进行对话了:

最后作为一位过来人也是希望大家少走一些弯路,如果你不想再体验一次学习时找不到资料,没人解答问题,坚持几天便放弃的感受的话,在这里我给大家分享一些软件测试的学习资源,希望能给你前进的路上带来帮助。

视频文档获取方式:
这份文档和视频资料,对于想从事【软件测试】的朋友来说应该是最全面最完整的备战仓库,这个仓库也陪伴我走过了最艰难的路程,希望也能帮助到你!以上均可以分享,点下方小卡片即可自行领取。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐