所有工作分为5个部分:

  1. 安装Docker Desktop;
  2. 安装dify;
  3. 安装ollama;
  4. 下载大模型;
  5. dify中配置本地大模型;

    一、安装Docker Desktop

1.进入官网(Docker: Accelerated Container Application Development

选择需要的安装版本

安装完成后,第一次启动可能会遇到如下问题:

这时win+r输入cmd打开命令提示符,输入wsl --update等待下载完成就可以重新启动Docker Desktop了。

此时完成搭载第一步,容器已经搭建好了;

二、下载dify

1、进入GitHub官网(https://github.com/

搜索dify,下载CODE;

下载完成放到自己文件夹加压后,打开docker文件夹:

输入CMD进入命令提示符,输入 docker compose up -d 下载docker启动必要的组件;

这是正常下载的情况,如果出现爆红,可以挂个梯子试试;

此时打开我们的Docker desktop可以看到服务已经开始启动了;

现在进入我们的dify文件夹中,将.env.example文件修改为.env,或者直接复制一个修改为.env:

用记事本打开:

输入http://127.0.0.1/作为本地启动入口;

在文档组后添加以下代码,稍后用于ollama链接:

#用于自定义模型
CUSTOM_MODEL_ENABLED=true
#指定ollama的API地址;
OLLAMA_API_BASE_URL=host.docker.internal:11434

三、安装ollama

1.进入ollama官网(Download Ollama on macOS

下载后直接安装,右下角出现小羊驼图标即可。

四、下载大模型

1.下载deepseek-r1

根据自己电脑需求,下载对应参数版本的大模型,不清楚需要多大参数的,可以将内存、显存、存储空间问GPT为你推荐。

进入ollama官网,检索自己所需要的大模型:

根据参数,选取对应参数的大模型,复制右边代码(如ollama run deepseek-r1):

再win+R输入cmd直接执行命令,开始大模型的下载,因为默认是C盘,后续需要修改路径的话,可以参考该文章(https://zhuanlan.zhihu.com/p/27286614924):

由于deepseek-r1属于推理模型,我们这里再下载一个beg-m3,用于数据输入的预处理模型:

同样,再win+R输入cmd直接执行命令:

大模型下载就完成了;

五、dify中配置本地大模型

1.打开本地部署的dify

浏览器输入:127.0.0.01,进入dify,首次进入会设置邮箱等信息,注册完成后,进入设置:

点击模型供应商,因为我已经安装了ollama,没法删除,这里在下方选取ollama进行安装,如果之前下载的不是ollama而是其他供应商的话,在这里选取对应的就行了。

点击添加模型,模型名称为自己下载的推理大模型,基础URL为上述配置的url+http://即可。

嵌入大模型也是如此,这里我们就配置了两个基础的大模型,一个推理大模型deepseek和嵌入大模型,处理输入数据的bge-m3:

创建知识库

推出大模型设置后,创建知识库

上传文件后进入下图所示页面,选取我们的嵌入模型(embedding),下滑确认,知识库就已经搭建好了。进入床

进入工作室创建聊天助手:

添加我们刚创建的知识库,选择我们配置的大模型即可开始使用。

到此,我们的配置就已经结束了,如果存在大模型加载不出来的,刷新即可。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐