Ollama + Milvus 本地智能体搭建指南:打造本地部署RAG知识库助手(java快速搭建)
前提需要docker环境 本文基于docker安装 Milvus 向量数据库
后台通过java项目启动 java版本17
技术组件核心作用核心优势
| Ollama | 本地运行开源大模型(对话生成、文本向量化) |
1. 轻量便捷,一键部署,无需复杂的模型环境配置; 2. 离线可用,支持 Qwen、Llama、Mistral 等多款开源模型; 3. 支持自定义模型,可嵌入固定角色与业务规则; 4. 无调用额度限制,零成本使用。 |
| Milvus | 存储与检索高维向量数据(知识库核心载体) |
1. 专为向量检索设计,性能远超通用数据库,支持百万级向量快速检索; 2. 支持数据持久化,重启服务后知识库数据不丢失; 3. 提供可视化工具 Attu,方便管理向量集合与数据; 4. 可横向扩展,从单机版平滑升级到分布式集群,满足业务增长需求。 |
| Spring AI | 基于 Spring Boot,简化大模型 / 向量库整合 |
1. 封装 Ollama 调用,无需手写 HTTP 请求,一行代码完成文本向量化与对话生成; 2. 与 Spring Boot 无缝集成,支持配置化管理模型参数,自动注入客户端; 3. 提供统一的 RAG 流程支撑,降低大模型项目开发成本; 4. 支持扩展多种大模型 / 向量库,便于后续技术选型替换。 |
| Apache Tika | 解析 PDF/Word 等多种格式文档(辅助构建知识库) |
1. 支持几乎所有主流文档格式,无需单独开发各格式解析逻辑; 2. 轻量高效,能快速提取文档中的纯文本内容,用于后续向量化。 |
步骤 1:Ollama 安装与必备模型下载本文安装的
Ollama 是本地智能体的「大脑」,负责将文本转换为向量(供 Milvus 存储)和基于检索结果生成自然语言回答,先完成它的安装与模型下载。
1. 跨平台安装 Ollama
Ollama 支持全平台安装,步骤简单,无需额外配置:
-
Windows 系统:
- 访问 Ollama 官方下载地址,点击下载 Windows 版本安装包(.exe 格式);
- 双击安装包,按照提示下一步安装(默认勾选「Add Ollama to PATH」,无需手动修改);
- 安装完成后,Ollama 会自动在后台启动服务,无需手动执行命令。
-
macOS 系统:
- 访问 Ollama 官方下载地址,下载 macOS 版本安装包(.dmg 格式);
- 双击安装包,将「Ollama」拖拽到「应用程序」文件夹;
- 打开终端,执行
ollama --version触发服务启动(首次启动可能需要 10 秒左右)。
-
Linux 系统:
- 打开终端,执行一键安装命令:
bash
运行
curl -fsSL https://ollama.com/install.sh | sh - 安装完成后,执行
systemctl start ollama启动 Ollama 服务(设置开机自启:systemctl enable ollama)。
- 打开终端,执行一键安装命令:
2. 验证 Ollama 安装成功
打开终端 / 命令行,执行以下命令,若能显示 Ollama 版本号,则说明安装成功:
bash
运行
ollama --version
ollama version is 0.14.2 (本文用的版本)
3. 下载必备开源模型
本文项目需求,需要下载两款模型:「对话生成模型」(负责回答用户问题)和「文本向量化模型」(负责将文档 / 问题转换为向量),以下对话生成模型和文本向量化模型 可以根据自己需求切换:
- 下载对话生成模型(Qwen2 7B 指令版,中文表现优异,性价比高):
bash
运行
ollama pull qwen2:7b-instruct - 下载文本向量化模型(all-MiniLM-L6-v2,轻量高效,适合本地运行):
bash
运行
ollama pull mahonzhan/all-MiniLM-L6-v2 - 验证模型下载成功:执行
ollama list,若能看到上述两款模型的记录(包含模型名、大小、修改时间),则说明下载成功。 - 快速测试 Ollama 服务:执行
ollama run qwen2:7b-instruct,进入模型对话界面,输入「你好」,若能收到正常回复,说明 Ollama 服务运行正常(输入/bye可退出对话界面)。
注意:模型下载需要联网,下载完成后后续运行可完全离线;若下载速度较慢,可更换国内镜像源或耐心等待(7B 模型大小约 4GB 左右)。
步骤 2:Docker Compose 一键部署 Milvus + Attu
Milvus 运行依赖 Etcd(元数据存储)和 MinIO(对象存储),手动部署复杂且容易出错,我们使用 docker-compose.yml 一键部署全套服务,同时整合 Attu 可视化工具,方便后续管理向量数据。
1. 编写完整的 Docker Compose 配置文件
- 新建一个空文件夹(如
milvus-standalone-deploy),用于存放 Milvus 配置与数据,避免文件混乱; - 在该文件夹内创建
docker-compose.yml文件,粘贴以下完整配置(已优化网络通信与数据持久化):
yaml
version: '3.5'
services:
# 依赖服务1:Etcd - 存储 Milvus 元数据(如集合结构、索引信息)
etcd:
container_name: milvus-etcd
image: quay.io/coreos/etcd:v3.5.5
environment:
- ETCD_AUTO_COMPACTION_MODE=revision
- ETCD_AUTO_COMPACTION_RETENTION=1000
- ETCD_QUOTA_BACKEND_BYTES=4294967296
- ETCD_SNAPSHOT_COUNT=50000
volumes:
- ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/etcd:/etcd
command: etcd -advertise-client-urls=http://127.0.0.1:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd
healthcheck:
test: ["CMD", "etcdctl", "endpoint", "health"]
interval: 30s
timeout: 20s
retries: 3
networks:
- milvus
# 依赖服务2:MinIO - 存储 Milvus 海量向量数据与原始文档
minio:
container_name: milvus-minio
image: minio/minio:RELEASE.2023-03-20T20-16-18Z
environment:
MINIO_ACCESS_KEY: minioadmin
MINIO_SECRET_KEY: minioadmin
ports:
- "9001:9001" # MinIO 控制台访问端口
- "9000:9000" # MinIO 服务通信端口
volumes:
- ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/minio:/minio_data
command: minio server /minio_data --console-address ":9001"
healthcheck:
test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
interval: 30s
timeout: 20s
retries: 3
networks:
- milvus
# 核心服务:Milvus Standalone 单机版
standalone:
container_name: milvus-standalone
image: milvusdb/milvus:v2.3.0
command: ["milvus", "run", "standalone"]
environment:
ETCD_ENDPOINTS: etcd:2379
MINIO_ADDRESS: minio:9000
volumes:
- ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus
healthcheck:
test: ["CMD", "curl", "-f", "http://localhost:9091/healthz"]
interval: 30s
start_period: 90s # Milvus 首次启动较慢,预留足够启动时间
timeout: 20s
retries: 3
ports:
- "19530:19530" # Milvus 核心向量检索/通信端口(必须保留)
- "9091:9091" # Milvus 健康检查端口
depends_on:
- "etcd"
- "minio"
networks:
- milvus
# 可视化工具:Attu - 管理 Milvus 向量数据(无需命令行,图形化操作)
attu:
container_name: milvus-attu
image: zilliz/attu:v2.3.9
environment:
MILVUS_URL: standalone:19530 # 内部服务名通信,比 localhost 更稳定
ports:
- "8000:3000" # Attu 前端访问端口(浏览器访问)
depends_on:
- standalone
healthcheck:
test: ["CMD", "curl", "-f", "http://localhost:3000"]
interval: 30s
start_period: 60s
timeout: 10s
retries: 3
networks:
- milvus
# 统一网络:确保所有服务互通,隔离其他 Docker 容器
networks:
milvus:
name: milvus
2. 启动 Milvus + Attu 服务
- 打开终端 / 命令行,进入
milvus-standalone-deploy文件夹(即docker-compose.yml所在目录); - 执行以下命令,后台启动所有服务(
-d表示后台运行,不占用终端窗口):bash
运行
docker-compose up -d - 等待服务启动完成(首次启动需要下载镜像,约 5-10 分钟,取决于网络速度)。
注意:镜像下载失败的话增加 Docker 镜像的下载地址
{ "registry-mirrors": [ "https://docker.m.daocloud.io/", "https://huecker.io/", "https://dockerhub.timeweb.cloud", "https://noohub.ru/", "https://dockerproxy.com", "https://docker.mirrors.ustc.edu.cn", "https://docker.nju.edu.cn", "https://xx4bwyg2.mirror.aliyuncs.com", "http://f1361db2.m.daocloud.io", "http://hub-mirror.c.163.com" ], "dns": ["8.8.8.8", "114.114.114.114"] }如果解析失败的话 增加 DNS 解析尝试 "dns": ["8.8.8.8", "114.114.114.114"]
3. 验证 Milvus + Attu 启动成功
方法 1:查看 Docker 容器状态
执行 docker ps,查看是否有 4 个容器处于 Up 状态(milvus-etcd、milvus-minio、milvus-standalone、milvus-attu),若全部 Up,说明容器启动成功。
方法 2:访问 Attu 可视化界面
- 打开浏览器,输入
http://localhost:8000; - 无需额外配置(默认连接
localhost:19530),直接进入 Attu 主界面; - 若左侧显示「Milvus」连接成功,且能看到「Collections」(向量集合)、「Indexes」(索引)等菜单,说明 Milvus 服务启动正常,可正常使用。
4. 关键说明
- 数据持久化:所有数据(Etcd 元数据、MinIO 向量数据、Milvus 核心数据)均存储在
milvus-standalone-deploy/volumes文件夹下,停止服务后数据不会丢失,下次启动可直接复用; - 版本兼容:本文使用
Milvus v2.3.0+Attu v2.3.9,这是经过验证的兼容组合,请勿随意更换版本(版本不匹配会导致 Attu 无法连接 Milvus); - 停止服务:如需停止所有服务,进入
milvus-standalone-deploy文件夹执行docker-compose down(保留数据);若需清理所有数据,执行docker-compose down -v; - 端口冲突:若 19530、8000、9000 等端口被占用,可修改
docker-compose.yml中的端口映射(如8001:3000),避免冲突。
步骤 4:核心功能开发(实现完整 RAG 流程)
我们实现完整的 RAG(检索增强生成)流程:「文档解析 → 文本向量化 → 向量存入 Milvus → 用户问题向量化 → Milvus 检索相关向量 → Ollama 生成回答」,
java实现方式
git clone https://gitee.com/li-hedong/ai-robot.git
下载代码 安装配置
仓库依赖下载失败时 https://maven.aliyun.com/mvn/search
访问这个地址搜索下载对应版本
步骤 5:系统启动与验证(完整流程跑通)
至此,所有组件与代码已搭建完成,我们按顺序启动服务,验证整个系统的运行效果,确保每一步都能正常工作。
1. 启动前置服务(按顺序)
- 确保 Ollama 服务已启动(安装后默认后台运行,若未启动,执行
ollama serve); - 确保 Milvus + Attu 服务已启动(进入
milvus-standalone-deploy文件夹,执行docker-compose up -d); - 准备测试文档:在
src/main/resources下创建docs文件夹,放入一份 PDF 或 Word 测试文档(如product_manual.pdf),用于后续入库测试。
2. 启动 Spring Boot 项目
- 在 IDEA 中,右键点击项目主启动类
AiDocumentRetrievalApplication.java,选择「Run」; - 查看控制台日志,若显示「🎉 AI 文档检索系统启动成功!」且无报错,说明 Spring Boot 项目启动成功;
- 同时查看 Milvus 客户端连接日志,若显示「Milvus 客户端连接成功:localhost:19530」,说明 Milvus 连接正常。
3. 验证核心功能(使用 Postman 或浏览器)
验证 1:文档入库
访问
http://localhost:8081/api/knowledge/import?documentPath=classpath:docs/product_manual.pdf
(替换为你的测试文档路径),若返回「文档入库成功!」,说明文档已成功解析并存入 Milvus;同时可访问 Attu(http://localhost:8000),查看 document_knowledge_base 集合,能看到入库的数据条数,验证入库成功。
验证 2:智能问答
访问 http://localhost:8081/api/knowledge/qa?question=产品的核心功能有哪些(替换为与测试文档相关的问题),若能返回基于文档内容的回答,说明整个 RAG 流程运行正常,智能体已具备离线知识库检索能力。
4. 离线验证(可选)
断开网络连接,重复上述「智能问答」步骤,若仍能正常返回回答(基于已入库的本地文档),说明系统实现了全离线运行,数据隐私得到保障。
更多推荐

所有评论(0)