您是否渴望探索大型语言模型(LLM)的强大能力,却又因高昂的API费用、数据隐私泄露的风险以及对外部服务的依赖而踌躇不前?本指南将为您提供一个完美的解决方案。

我们将通过一个详尽的、手把手的教程,向您展示如何利用强大的开源LLM应用开发平台 Dify 与极致简化本地模型运行的工具 Ollama,在您自己的个人电脑(甚至是仅有8GB内存的CPU机器)上,搭建一个完全私有化、零API成本、拥有完全控制权的AI应用环境。

准备工作:部署前的必备清单

在开始之前,请确保您的系统中已安装以下软件。这是一个成功部署的基础。

  1. Docker Desktop: Dify的本地部署依赖于容器化技术。Docker Desktop为Windows和macOS用户提供了图形化的界面和所需的后台服务。请从Docker官网下载并安装。
  2. Git: 我们需要使用Git从GitHub克隆Dify的源代码。请确保您的系统中已安装Git。
  3. 稳定的网络连接: 首次部署Dify和下载Ollama模型时,需要从网络上拉取较大的文件,请确保您的网络连接稳定。

第一部分:Ollama环境准备——您的本地AI模型引擎

Ollama是我们的AI模型“引擎”,它负责在您的电脑上管理和运行开源LLM。

步骤1.1:下载与安装Ollama
  • 访问 Ollama官方网站 (https://ollama.com/)。
  • 网站会自动检测您的操作系统(Windows, macOS, or Linux),点击醒目的“Download”按钮下载安装程序。
  • 安装过程非常简单,双击安装包并按照屏幕提示完成即可。
步骤1.2:启动并验证Ollama服务
  • 安装完成后,Ollama服务会自动在后台启动。您可以在操作系统的系统托盘(Windows右下角或macOS顶部菜单栏)中找到Ollama的图标,确认其正在运行。
  • 打开您的终端(Terminal、PowerShell或CMD),输入以下命令来验证Ollama是否正常工作:
    ollama list
    
  • 对于初次安装的用户,该命令会返回一个空列表,这完全正常,表示您尚未下载任何模型。
步骤1.3:下载您的第一个本地模型
  • 我们选择一个轻量级且性能优异的模型作为起点,例如Meta的Llama 3.2 3B模型。在终端中执行以下命令来下载它:
    ollama pull llama3.2:3b
    
  • 您会看到一个下载进度条。根据您的网络速度,这个过程可能需要几分钟。下载完成后,再次运行 ollama list,您应该能看到 llama3.2:3b 已出现在列表中。
步骤1.4:与模型进行首次交互
  • 让我们来测试一下模型是否能正常工作。在终端中输入:
    ollama run llama3.2:3b
    
  • 命令执行后,您会看到一个提示符,表明您可以开始对话了。尝试输入 “Tell me a joke”,看看它的回答。这能给您一个最直观的感受:您已经成功在本地运行了一个强大的AI模型!
步骤1.5:理解Ollama的API端点
  • 这是Ollama最强大的功能之一。在运行的同时,它还在本地 11434 端口上启动了一个HTTP API服务。
  • 您可以在浏览器中访问 http://localhost:11434 进行验证。如果页面显示 “Ollama is running”,则证明API服务已就绪。这个API端点是接下来连接Dify的关键桥梁。

第二部分:Dify平台本地化部署——您的AI应用构建中心

Dify是我们的“应用构建中心”,它提供了一个可视化的界面来编排和发布由Ollama驱动的AI应用。

步骤2.1:获取Dify源代码
  • 选择一个您希望存放项目代码的目录,然后打开终端,执行以下命令克隆Dify的GitHub仓库:
    git clone https://github.com/langgenius/dify.git
    
步骤2.2:进入部署目录
  • 克隆完成后,进入项目中的 docker 目录。这是所有部署相关文件的所在地。
    cd dify/docker
    
步骤2.3:创建核心配置文件
  • 在该目录下,您会找到一个名为 .env.example 的文件。这是一个环境变量模板,直接运行是行不通的。我们需要基于它创建一个名为 .env 的正式配置文件。
  • 为什么要这样做? .env 文件通常包含敏感信息(如API密钥),按照最佳实践,它不应该被提交到Git仓库中。因此,项目提供 .env.example作为模板,由用户在本地复制并填充。
  • 执行以下命令完成复制:
    cp .env.example .env
    
步骤2.4:启动Dify服务栈
  • 现在,万事俱备。执行以下命令,使用Docker Compose来启动Dify所需的所有服务容器:
    docker-compose up -d
    
  • 命令解析:
    • docker-compose: 调用Docker Compose工具。
    • up: 根据 docker-compose.yml 文件来构建、创建并启动容器。
    • -d: Detached模式,即在后台运行容器,这样您的终端窗口可以继续用于其他操作。
  • 专业提示: 首次启动会因为需要拉取多个Docker镜像而耗时较长。如果您想实时查看启动日志,可以执行 docker-compose logs -f。看到大量日志滚动并最终稳定下来,通常表示服务已成功启动。
步骤2.5:首次登录与设置
  • 当所有容器都成功运行后,打开您的网页浏览器,访问 http://localhost
  • 您将看到Dify的初始化页面。请按照指引创建一个管理员账户,这将是您管理整个平台的入口。

第三部分:关键集成——连接Dify与Ollama

这是整个流程中最核心、也最容易出错的一步。请仔细遵循以下指导。

步骤3.1:导航至模型供应商设置
  • 登录Dify后,在界面的左下角找到并点击 设置
  • 在设置菜单中,选择 模型供应商
步骤3.2:添加Ollama作为供应商
  • 在供应商列表中,找到并点击 Ollama,然后选择 添加模型
步骤3.3:精准配置模型参数

您将看到一个配置表单。请务必精确填写以下两个字段:

  • 模型名称 (Model Name):

    • ⚠️ 重要提示: 此名称必须与您在终端中运行 ollama list 命令所看到的模型名称完全一致,包括冒号和版本号。例如:llama3.2:3b。任何细微的差别都将导致连接失败。
  • 基础URL (Base URL):

    • ⚠️ 重要提示: 此处绝不能填写 http://localhost:11434
    • 原因解释: Dify本身运行在一个Docker容器内,对于这个容器来说,“localhost”指的是它自己,而不是您正在运行Ollama的宿主机(您的电脑)。为了让容器能够“访问到外面”的宿主机,我们需要使用一个由Docker提供的特殊DNS名称:host.docker.internal
    • 正确地址: http://host.docker.internal:11434
步骤3.4:保存并验证
  • 填写完毕后,点击 保存
  • 如果配置无误,页面会弹出“修改成功”的提示。回到模型供应商列表,您应该能看到刚刚添加的 llama3.2:3b 模型,并且状态为“可用”。

第四部分:项目实战——创建您的第一个本地AI文本生成器
  1. 返回Dify主界面(工作室),点击 从空白创建,然后选择应用类型为 文本生成器
  2. 为应用命名(如:“我的本地内容助手”),并添加描述,然后点击 创建
  3. 进入应用编排界面。在左侧的配置区,您会发现“模型”下拉菜单已自动选择了我们刚刚配置好的Ollama模型。
  4. 在下方的“提示词”部分,找到名为 query 的输入框,输入一个测试性问题,例如:“用三句话总结一下什么是人工智能”。
  5. 点击右上方的 运行 按钮。
  6. 稍等片刻,在右侧的“输出”区域,您将看到由您的本地LLM生成的回答。这标志着您的端到端流程已完全打通!
  7. 点击界面右上角的 发布 按钮。Dify会为这个应用创建一个独立的、可分享的网页链接,让您或他人可以像使用一个真正的Web应用一样与之交互。
总结与下一步探索

恭喜您!通过遵循本指南,您已经成功地在自己的电脑上搭建了一套完全私有化、功能强大的AI应用开发与运行环境。您现在拥有了:

  • 绝对的数据隐私: 您的所有数据和查询都不会离开您的电脑。
  • 零API成本: 自由地进行无限次的实验和调用,无需担心账单。
  • 完全的技术掌控: 从底层模型到上层应用,整个技术栈都在您的控制之下。

接下来可以探索什么?

  • 构建RAG应用: 探索Dify的“知识库”功能,上传您自己的文档(PDF、TXT等),并构建一个能基于您的私有数据回答问题的聊天机器人。
  • 尝试不同的模型: 访问Ollama的模型库,尝试下载并集成其他不同规模、不同特性的开源模型。
  • 探索工作流(Workflow): 使用Dify的Workflow模式,设计更复杂的AI智能体(Agent),让它能够调用工具、执行多步任务。

您已经开启了通往AI应用自主开发的大门。祝您探索愉快!

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐