前言

在当下AI技术迅猛发展的浪潮中,越来越多的企业和个人希望借助大模型来提升自身的知识管理与智能问答能力。DeepSeek-R1 作为国产开源大模型中的佼佼者,因其强大的语言理解能力而备受关注。而借助 Ollama 实现本地轻量化部署,再结合 RAGFlow 构建专属的企业知识库,已成为打造智能问答系统的热门方案。

本教程将带你从零开始,手把手完成从模型部署到知识库构建的全过程,涵盖环境配置、模型加载、文档解析、检索问答流程等关键步骤。无论你是开发者、AI爱好者,还是企业技术负责人,只需按照本教程一步步操作,即可轻松搭建属于自己的智能知识库系统。

本文搭建教程所涉及安装包等资料获取方式在文末,大家只管吸收干货,下载安装包等累活儿就交给在下。

✅ 本文教程结构概览

🔹 一、Ollama 安装与模型部署

  • Ollama 官网下载安装
  • 环境变量配置(OLLAMA_HOST、OLLAMA_MODELS)
  • DeepSeek-R1 模型安装(推荐 deepseek-r1:7b)
  • 测试运行:ollama run deepseek-r1:7b

🔹 二、本地 Docker 安装与配置

  • Docker Desktop 安装
  • 设置国内镜像源加速拉取速度

🔹 三、RAGFlow 本地部署

  • Git 克隆 RAGFlow(或使用资源包)
  • 修改 .env 文件,选择完整版镜像(非 slim)
  • docker-compose 启动 RAGFlow
  • 浏览器访问 http://localhost:80
  • Ollama 模型接入及默认模型配置
  • 开放 11434 端口(详细 Windows 图文教程)

🔹 四、知识库创建与上传

  • 后台界面新建知识库,选择解析方法
  • 上传 .txt/.pdf/.docx 等文档
  • 测试问答效果

一、Ollama安装教程

首先,我们先来安装Ollama,实现DS本地轻量化部署,如果你想试着跑开源大模型,但又不想折腾环境,Ollama 是一个非常友好的起点。

Ollama是啥?做个简单科普。Ollama 是一个本地运行大语言模型(LLM)平台,它的主要作用是让你可以在自己的电脑上轻松运行各种开源大模型(比如 Llama、Mistral、Gemma 等),而不依赖云端服务。

1.1 下载Ollama

登录Ollama官网,点击下载安装包。

1.2 安装Ollama

安装包下载完毕之后,点击,再点击install,会出现下面这样的安装进程,默认C盘且无法更改安装地址 。

安装之后,电脑右下角会出现图标,如果不放心可以在CMD窗口输入ollama查看是否安装成功。

而且此时键入ollama list还是没有出现任何东西的。

1.3 配置环境变量

接下来需要配置环境变量,按照如下配置:

OLLAMA_HOST
0.0.0.0:11434

变量名为OLLAMA_MODELS,变量值为F:\OllamaModels,其中的变量值就是大模型下载存储的目录位置,最后点击确定即可,如下图所示:

OLLAMA_MODELS
F:\OllamaModels

新建变量完整截图展示如下:

二、DS模型下载及安装

2.1 下载deepseek模型

回到Ollama官网,点击Models,选择deepseek-r1模型,官网地址

直接复制下面的指令,并粘贴在CMD窗口 (安装一个蒸馏的小版本7b)

例如:ollama run deepseek-r1:7b

因为我电脑配置太低,现在就演示安装一个蒸馏的小版本7b, 我的本地配置: 16G内存,RTX2050 4G版本的显卡,大家可参考一下。

2.2 DeepSeek模型配置解读

官方推荐: 至少有 8 GB 的 RAM 可用于运行 7B 模型,16 GB 可用于运行 13B 模型,以及 32 GB 可用于运行 33B 模型。

DeepSeek-R1-7B,是通过R1蒸馏的小模型,在各方面超越了非推理模型如 GPT-4o-0513

显卡要求:

2.3 安装deepseek-r1:7b模型

根据自己的网络情况,等待一段时间后,看到提示success,表示ollama已经下载好deepseek-r1:7b,并启动成功。

下载R1模型后,会直接输出【success】字样。

显示success之后,再输入 ollama list 命令就会有如下显示:

我这里更推荐下载下面带版本号的蒸馏模型,方便后续搭建知识库的时候引用。

例如:ollama run deepseek-r1:7b

2.4 DS问答测试

初体验:deepseek-r1给我的初感觉像是个刚学会说话的孩子,和chatgpt最大的使用区别就在于会把思考的过程也事无巨细呈现出来,两段式的回复使其更具拟人的色彩。

想退出或者中断,你可直接【Ctrl + D】或者输入【/bye】指定即可。

如果已经退出交互命令,可以再次执行如下命令,进入对话:

ollama run deepseek-r1:7b

如上本地部署DeepSeek就已经完成本地化搭建啦。

三、Docker桌面版搭建教程

接着,我们来搭建本地知识库,好好听认真看,因为我只教学一遍。

首先我们需要本地先搭建一个docker客户端。

3.1 docker下载

Docker官网下载安装包:https://www.docker.com/products/docker-desktop,但是下载速度实在是太慢了,如有需要docker安装包及相关安装包,可通过文末关注微信公众号或者或私信我即可。

其中安装细节,这里就不一一赘述了。

温馨提醒,Windows安装过程中,会遇到比较多问题,需要耐心解决,网上都有对应的问题解决方案(因为我也是这么过来的)。例如:HyperV 组件支持、开启虚拟化服务功能、安装 WSL2 最新版本之类的。

3.2 修改镜像

记得添加国内镜像,不然下载速度很慢。

"registry-mirrors": [
"https://hub.rat.dev"
  ]

示例截图如下:

如上,本地docker客户端就搭建好了。

四、RAGFlow搭建教程

4.1 本地部署RAGFlow

部署完docker之后,我们便可以开始搭建RAGFlow啦,在搭建之前,我们先来简单了解下,RAGFlow是啥?

RAGFlow? 它是一款开源的检索增强生成(Retrieval-Augmented Generation,简称 RAG)引擎,专注于通过深度文档理解技术,提升对复杂格式文档的处理能力,广泛应用于企业知识库、智能问答、文档自动化处理等场景。

RAGFlow 的系统架构包括知识构建流和问答检索增强流,涵盖文档解析、文本切片、向量化、索引构建、查询处理、多路召回、重排序、LLM 生成、引用追踪等模块。

4.2 下载RAGFlow

官方 GitHub 仓库:https://github.com/infiniflow/ragflow,找到官方下载地址进行git下载。

找到一个空文件,右键打开git Bash并使用下面的代码,进行git克隆(前提是已经下载好git),当然,肯定会考虑到有的同学git没有按照,如果没有也没关系,我把相关资源都放在了文末资料包中,大家尽管自取。

接着,我们进入已下载完的RAGFlow文件夹,进入docker文件夹,然后修改下.env 文件内的 RAGFLOW_IMAGE 变量,你可以通过设置 RAGFLOW_IMAGE=infiniflow/ragflow:v0.18.0 来下载 RAGFlow 镜像的 v0.18.0 完整发行版,默认的ragflow:v0.18.0-slim是没有带嵌入模型的,ragflow:v0.118.0带嵌入模型。

这里官方给出的文档,直接告诉我们了,带slim的是不带嵌入模型,这对我们后续搭建知识库是不方便的,默认带有嵌入模型我们便不需要再多搭建一套模型配置了。

4.3 启动RAGFlow

指定完版本之后,我们直接在RAGFlow的目录中输入cmd并回车。

在小黑窗中输入如下命令,使用 docker-compose.yml 启动项目,并在后台运行。

docker compose -f docker/docker-compose.yml up -d

  等待数十分钟,显示如下界面即说明服务器启动成功。

接着服务器启动成功后再次确认服务器状态:如下代码的作用是查看 ragflow-server 容器的日志,并实时更新输出:

docker logs -f ragflow-server

出现下面的图标,代表服务器启动成功。

接着我们可以打开docker,可以看到其已经运行的镜像应用。

4.4 访问RAGFlow地址

打开浏览器,输入以下网址:

http://localhost:80

或者其他客户端访问可使用:部署机ip替换localhost。例如:http://10.66.65.10:80

注册一个账号并登录。 这里邮箱号随意,符合邮箱后缀即可。

4.5 模型配置

在RAGFlow界面点击右上角的头像,左侧找到模型提供商,选择Ollama。

在待添加中选择Ollama或者deepseek,我这里选择的是ollama,根据自己下载的模型名称,添加LLM

deepseek-r1:7b
http://10.66.65.15:11434/
100000

如果遇到如下报错,如何解决?

hint : 102
Fail to access model(deepseek-r1:7b).**ERROR**: [Errno 111] Connection refused

大概率是你本地未开11434端口,你需要本地Windows开放11434入端口。

具体如何在Windows中开放端口??实操步骤如下:

4.6 Windows11防火墙如何开启端口?

4.6.1‌ 打开防火墙高级设置‌

搜索并进入“Windows Defender 防火墙高级设置”(适用于Win10/Server)。

4.6.2 创建入站规则‌

选择“入站规则” → “新建规则” → 选择“端口” → 点击“下一步”。

4.6.3 配置端口和协议‌

选择TCP/UDP协议(根据需求),输入单个端口(如8080)、多个端口(如80,443)或范围(如6000-6100)。这里我们只开11434端口

4.6.4 允许连接‌

选择“允许连接” → 勾选适用的网络类型(域/专用/公用) → 输入规则名称(如“Open Port 11434”) → 完成。

4.7 设置默认模型

点击右上角的【设置默认模型】按钮打开配置弹窗,完成模型设置。

设置聊天模型与嵌入模型,这里嵌入模型使用自带的BAAI/bge即可。

4.8 如何关闭RAGFlow?

关闭ragflow服务器

docker compose -f docker/docker-compose.yml down

像下面这样,它会关闭 docker-compose.yml 里所有的容器,但不会删除数据卷和网络。

4.9 重启RAGFlow

重复上面的3个步骤:

五、知识库搭建

5.1 创建知识库

回到主界面,点击知识库并创建,输入一个知识库名称。

配置权限及嵌入模型即可,拉到最后点击保存。

这里的解析方法,需要根据自己的使用场景,自己选定,比如general方法支持的文件格式为DOCX、EXCEL、PPT、IMAGE、PDF、TXT、MD、JSON、EML、HTML。此方法将简单的方法应用于块文件:

系统将使用视觉检测模型将连续文本分割成多个片段。

接下来,这些连续的片段被合并成Token数不超过“Token数”的块。

5.2 上传知识库文件

搭建完知识库之后,再次点击进去,准备添加知识库文件。

  例如,我现在创建一个txt文本,自定义了一个概念,模拟企业级别的概念应用。

引入文件之后需要点击解析。

显示如下的成功之后方可进行对话。

5.3 创建聊天助手

点击:聊天->新建助理,设置自己的聊天机器人。

创建对应的小助手名称与选择对应的知识库,这里可选多个知识库。

模型设置这里,选择已有的AI模型:

5.4 测试对话

这里我们选择对应的助手,然后新增一个对话,然后测试下,把你们刚才上传的文件内容进行询问,当我问及某概念的时候,它就会从数据库中提取相关信息,用deepseek-r1模型进行回答。

如上对话,很显然,回答的都对应上了!!

至此,你已经成功完成了本地大模型问答系统的全链路搭建。从模型部署到知识库构建,掌握了智能文档问答的核心技术路径。下一步?放入你企业内部资料,开始让 AI 为你答疑解惑吧!

六、相关资料及安装包

大家如有需要Ollama、docker等安装包,可通过文末关注微信公众号或者或私信我即可。这里同时也附上相关网盘链接,如果被和谐了,那就来「猿圈奇妙屋」找我要,聊天界面输入【DS资料包】即可免费获取。

七、其他

7.1 资源需求表(硬件建议)

模型版本 最小显存 建议内存 使用体验
7B 4GB+ 16GB 良好(适合入门)
13B 8GB+ 32GB 略卡顿
33B 16GB+ 64GB+ 不推荐普通用户

大模型算是目前当之无愧最火的一个方向了,算是新时代的风口!有小伙伴觉得,作为新领域、新方向人才需求必然相当大,与之相应的人才缺乏、人才竞争自然也会更少,那转行去做大模型是不是一个更好的选择呢?是不是更好就业呢?是不是就暂时能抵抗35岁中年危机呢?

答案当然是这样,大模型必然是新风口!

那如何学习大模型 ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。但是具体到个人,只能说是:

最先掌握AI的人,将会比较晚掌握AI的人有竞争优势。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

但现在很多想入行大模型的人苦于现在网上的大模型老课程老教材,学也不是不学也不是,基于此我用做产品的心态来打磨这份大模型教程,深挖痛点并持续修改了近100余次后,终于把整个AI大模型的学习路线完善出来!

在这里插入图片描述

在这个版本当中:

您只需要听我讲,跟着我做即可,为了让学习的道路变得更简单,这份大模型路线+学习教程已经给大家整理并打包分享出来, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁:全网最全《LLM大模型学习资源包》免费分享(安全咨料,放心领取)👈

一、大模型经典书籍(免费分享)

AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源

在这里插入图片描述

二、640套大模型报告(免费分享)

这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、大模型系列视频教程(免费分享)

在这里插入图片描述

四、2025最新大模型学习路线(免费分享)

我们把学习路线分成L1到L4四个阶段,一步步带你从入门到进阶,从理论到实战。

img

L1阶段:启航篇丨极速破界AI新时代

L1阶段:了解大模型的基础知识,以及大模型在各个行业的应用和分析,学习理解大模型的核心原理、关键技术以及大模型应用场景。

img

L2阶段:攻坚篇丨RAG开发实战工坊

L2阶段:AI大模型RAG应用开发工程,主要学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

img

L3阶段:跃迁篇丨Agent智能体架构设计

L3阶段:大模型Agent应用架构进阶实现,主要学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造Agent智能体。

img

L4阶段:精进篇丨模型微调与私有化部署

L4阶段:大模型的微调和私有化部署,更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调,并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

img

L5阶段:专题集丨特训篇 【录播课】

img

全套的AI大模型学习资源已经整理打包,有需要的小伙伴可以微信扫描下方二维码免费领取

👉CSDN大礼包🎁:全网最全《LLM大模型学习资源包》免费分享(安全资料,放心领取)👈

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐