简介

本文详细介绍了企业为何需要将大模型部署在本地(数据安全、业务定制化、离线使用),以及如何在低配置服务器(4核8G内存)上部署DeepSeek R1 1.5b模型。文章提供了从安装Ollama、配置服务到部署模型并集成Dify的完整步骤,使企业能够实现"离线也能用、调优更精准、安全无外流"的AI应用闭环。随着算力成本下降,大模型本地化部署将成为企业刚需。


对很多企业来说,把大模型留在本地机房,并不是为了赶时髦,而是被现实逼出来的“刚需”。把大模型搬到本地,既能用公司多年沉淀的私域数据做定向微调,让 AI 真正理解自家业务、说出行内人认可的答案,又能在拔掉网线后依旧稳定运行,彻底把数据、模型和算力都锁在机房里,实现“离线也能用、调优更精准、安全无外流”的闭环。

虽然目前满血跑大模型的硬件要求通常在百万级别,算力仍旧是企业大模型应用的瓶颈,但通过一些蒸馏技术的应用,也有很多企业开始尝试大模型的本地化应用。大模型的算力成本逐步下降,可以预见,未来大模型的本地化部署一定是各个企业的刚需。本文就以CentOS7的环境,以一个4核8G内存的云服务器,部署最基础版的DeepSeek R1 1.5b模型作为演示。

Ollama部署

1、首先检查系统架构

uname -m

2、下载Ollama与安装

根据自己的系统架构,在系统的/usr目录下,下载安装Ollama

curl -fsSL https://ollama.ac.cn/install.sh | sh

鉴于国内服务器下载速度较慢,所以下载好Ollama安装包后,上传到服务器再安装。

https://github.com/ollama/ollama/releases/

在github下载自己合适的版本,然后再进行安装。

这块百度到了一个网盘下载地址:

https://pan.baidu.com/s/1e9Tke5t-x5YIw1iuPvBb5Q?pwd=wcba

将下载好的文件上传到/usr/ollama路径下,使用解压命令安装。

tar -C /usr/ollama -xzf ollama-linux-amd64.tgz

稍等片刻,解压完毕后,检查安装版本。

/usr/ollama/bin/ollama -v

3、创建服务文件

创建一个服务文件**/etc/systemd/system/ollama.service,文件中内容如下:**

[Unit]

这块本文使用Xshell自带的Xftp进行操作,先建好文件,上传到指定位置。

注意ollama.service的ollama可执行文件位置,要按照自己的去写,见下图红色方框内容,需要自定义

4、启动Ollama服务

让服务生效,然后启动Ollama。

systemctl daemon-reload

这时候,再输入如下命令:

ollama -v

便会成功出现版本信息,不再报错。

大模型部署

1、大模型选择

可以到如下地址,选择大模型下载:

https://ollama.com/library/deepseek-r1

本文使用1.5b模型,便可以使用命令:

/usr/ollama/bin/ollama run deepseek-r1:1.5b

至此安装成功,便可以在Xshell页面尝试与大模型进行对话。

Dify集成

由于服务器已经部署了Dify,这块就直接集成Dify,使Dify可以直接调用本机部署的DeepSeek进行工作。具体Dify部署,见文章:CentOS7 + Docker 部署 Dify 超详细图文教程,助力企业Agent应用上线

首先在Dify页面右上角选择“设置”。

在设置中,找到模型供应商-Ollama

安装插件:

安装完成后,刷新,在设置中就会有待配置的Ollama插件。

然后进行配置的填写。

填写后保存,点击工作室,创建空白应用。

这块为了快速上手,选择新手适用-聊天助手。

创建完成之后,在右上角选择添加好的DeepSeek R1模型:

至此,大模型已经部署完毕,且集成到Dify,可以本地化使用我们的DeepSeek大模型了。

团队介绍

我们团队致力于AI大模型应用、数智化转型、大数据应用与治理等领域。团队立足西安开展全国业务,成员拥有10年以上企业数字化转型和数据应用项目经验,均来自于国内知名大数据公司和咨询公司,具有AI与大数据系统建设经验和丰富的开发资源。

我们团队致力于AI大模型应用、数智化转型、大数据应用与治理等领域。团队立足西安开展全国业务,成员拥有10年以上企业数字化转型和数据应用项目经验,均来自于国内知名大数据公司和咨询公司,具有AI与大数据系统建设经验和丰富的开发资源。

AI大模型从0到精通全套学习大礼包

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

只要你是真心想学AI大模型,我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来,我也真心希望帮助大家学好这门技术,如果日后有什么学习上的问题,欢迎找我交流,有技术上面的问题,我是很愿意去帮助大家的!

如果你也想通过学大模型技术去帮助就业和转行,可以扫描下方链接👇👇
大模型重磅福利:入门进阶全套104G学习资源包免费分享!
在这里插入图片描述

01.从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点
在这里插入图片描述
​​

02.AI大模型学习路线图(还有视频解说)

全过程AI大模型学习路线

在这里插入图片描述
在这里插入图片描述


​​

03.学习电子书籍和技术文档

市面上的大模型书籍确实太多了,这些是我精选出来的

在这里插入图片描述
在这里插入图片描述

04.大模型面试题目详解

在这里插入图片描述

在这里插入图片描述

05.这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理,鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位,在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利,同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频由智泊AI老师录制,且资料与智泊AI共享,相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。

在这里插入图片描述
在这里插入图片描述

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌,通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌,构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论,还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作,把课本知识变成真本事‌!

在这里插入图片描述
如果说你是以下人群中的其中一类,都可以来智泊AI学习人工智能,找到高薪工作,一次小小的“投资”换来的是终身受益!

应届毕业生‌:无工作经验但想要系统学习AI大模型技术,期待通过实战项目掌握核心技术。

零基础转型‌:非技术背景但关注AI应用场景,计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈:传统开发者(Java/前端等)学习Transformer架构与LangChain框架,向AI全栈工程师转型‌。

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐