1. 通过 ollama 官网下载并安装自己机器对应的版本
    https://ollama.com/
    在这里插入图片描述

  2. 在 ollama 官方模型库找到自己想要部署的模型
    https://ollama.com/search
    在这里插入图片描述

  3. 本地安装好 ollama 后下载模型

下载：

ollama pull deepseek-r1

启动

ollama run deepseek-r1
  1. 到 Anythink LLM 官网下载对应机器的安装包

https://anythingllm.com/
在这里插入图片描述

  1. 打开 AnythinkLLM 并创建工作区

在这里插入图片描述
在这里插入图片描述

  1. 设置工作区

在这里插入图片描述

  1. 配置并下载大模型

在这里插入图片描述
选择好之后点击 Save changes 后台就会自动下载模型
在这里插入图片描述

  1. 配置向量数据库

在这里插入图片描述
我这来选择的是系统默认的 LanceDB（实测效果还行）
在这里插入图片描述

  1. 配置嵌入器

在这里插入图片描述
我这里选择的是ollama（我测试了多个，效果基本大差不差）
在这里插入图片描述

  1. 配置文本分割（如果没有特殊需求，无需改动）

在这里插入图片描述

  1. 配置语音（如果有业务需求的情况下）

在这里插入图片描述

  1. 打开本地 API 开关（后面业务系统调用模型API时需要用到）

在这里插入图片描述

  1. 生成接口调用 APIKey（后面业务系统调用模型API时需要用到）

在这里插入图片描述

  1. 返回主界面上传本地知识库文件

在这里插入图片描述

  1. 让模型挂载知识库文件

在这里插入图片描述

  1. 打开聊天界面测试知识库挂载

在这里插入图片描述
如果知识库索引成功并且成功引用到知识库文件，那么左下角就会出现一个显示引文的按钮，点击可以查看具体引用的是哪个文档！
进行到这里，恭喜你，已经成功一大半了！
接下来就是比较繁琐的 API 调用了

  1. 返回设置页面，仔细查看阅读 API 文档

在这里插入图片描述
熟悉的 swagger 接口页面
在这里插入图片描述
接下来就可以根据自己用到的实际开发需求以及业务功能来合理调用相应的 API，
例如：

  • 获取工作区
  • 创建用户
  • 获取用户相关信息
  • 上传知识库文档
  • 获取知识库文档
  • 移除知识库
  • 创建工作区
  • 发起聊天
  • 发起聊天（流式传输）用户体验会更好
  • 发起新的聊天
  • 系统设置
  • 导出聊天信息
# 深度学习 # 神经网络 # 自然语言处理 # 知识图谱
Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

cover

小模型VS大模型：深入探讨不同规模下的推理框架技术与应用！

avatar 2048 AI社区
cover

“这是数学的未来方向！”——陶哲轩详解AI自动化研究经验，从解决三十年难题说起！““

avatar 2048 AI社区

JAVA打造：高效智能商品拍卖系统新体验

基于JAVA技术的智能拍卖系统通过分布式架构（SpringCloudAlibaba微服务、Seata事务）、区块链存证和AI算法（XGBoost定价、LSTM竞价预测），实现了高效透明的拍卖全流程。系统包含智能鉴真、VR展厅等7大模块，支持百万级并发（Redis集群、RocketMQ削峰），已在司法拍卖（成交率提升至89%）、花卉交易（损耗率降至5%）等多个领域成功应用，显著提升交易效率和安全性。

avatar 2048 AI社区